[論文レビュー] Revisiting Classical Bagging with Modern Transfer Learning for On-the-fly Disaster Damage Detector

Junghoon Seo, Seungwon Lee+2 more|arXiv (Cornell University)|Oct 4, 2019

Infrastructure Maintenance and Monitoring参考文献 24被引用数 5

ひとこと要約

本稿では、極度のクラス不均衡を示す災害直後の損傷検出において、最小限のラベル付きデータで動作する、古典的なバギングと現代的な転移学習を組み合わせた単純ながら効果的な手法を提案する。ImageNetで事前学習されたResNet34モデルを活用し、損傷なし（ネガティブ）データの複数のブートストラップサブセットに対してアンサンブル平均を適用することで、先行手法と比較して5ショット正例設定において誤差率を最大53.3％まで低減するSOTA性能を達成した。

ABSTRACT

Automatic post-disaster damage detection using aerial imagery is crucial for quick assessment of damage caused by disaster and development of a recovery plan. The main problem preventing us from creating an applicable model in practice is that damaged (positive) examples we are trying to detect are much harder to obtain than undamaged (negative) examples, especially in short time. In this paper, we revisit the classical bootstrap aggregating approach in the context of modern transfer learning for data-efficient disaster damage detection. Unlike previous classical ensemble learning articles, our work points out the effectiveness of simple bagging in deep transfer learning that has been underestimated in the context of imbalanced classification. Benchmark results on the AIST Building Change Detection dataset show that our approach significantly outperforms existing methodologies, including the recently proposed disentanglement learning.

研究の動機と目的

• 災害直後には正例（損傷あり）のサンプルが極めて少なく、迅速に収集することが難しいという、極度のクラス不均衡に起因する損傷検出の課題に対処すること。
• 微調整中にモデルの監視が減少し、分散が増加するという、従来のアンダーサンプリング手法の限界を克服すること。
• 古典的なバギングを現代的な転移学習と組み合わせることで、少サンプルかつ不均衡な分類設定において性能を著しく向上させられることを示すこと。
• 事前学習済みデータセットを最小限にし、災害発生後に迅速に展開可能な実用的な、オンザフライ損傷検出フレームワークを確立すること。

提案手法

• 強力な特徴表現を活用し、低データ環境下での一般化性能を向上させるために、ImageNetで事前学習済みのResNet34をベースモデルとして使用する。
• 豊富なネガティブ（損傷なし）例から、リプレース付きのランダムサンプリングによって複数の訓練サブセットを生成することで、古典的なブートストラップアンサンブル（バギング）を適用する。
• アンサンブル内の各ベースモデルは、異なるブートストラップサブセットのネガティブデータ上で微調整されるが、すべてのモデルで同じ少数の正例を保持する。
• 最終的な予測は、すべてのアンサンブルメンバーのソフトマックス確率の平均をとることで得られ、これによりロバストネスが向上し、分散が低減される。
• データオーグメンテーションや複雑なアーキテクチャの変更を避けて、データの有効活用とモデルのキャリブレーションに焦点を当てる。
• 性能向上と計算コストのトレードオフを調査するため、アンサンブルサイズを1〜20の範囲で変化させた。10〜15モデルを超えると、収益の逓減が観察された。

実験結果

リサーチクエスチョン

• RQ1 古典的なバギングを現代的な転移学習と組み合わせることで、災害直後の損傷検出に一般的に見られる極度のクラス不均衡状況における性能低下を効果的に緩和できるか？
• RQ2 ブートストラップされたネガティブサンプルを用いたアンサンブル学習は、標準的なアンダーサンプリングや初期から訓練を開始する手法と比較して、モデルの精度を向上させ、分散を低減できるか？
• RQ3 ImageNetで事前学習された重みから転移学習を行うことで、正例が極めて少ない少サンプル設定におけるモデルの性能とキャリブレーションにどのような影響を与えるか？
• RQ4 この不均衡学習設定において、性能向上と計算コストのバランスを最適化するための最適なアンサンブルサイズは何か？

主な発見

• 提案手法である転移学習を組み合わせたバギングベースのアンサンブルは、前回のSOTAモデルと比較して、正例5ショット設定で誤差率を53.3％まで低減した。
• 正例50ショット設定では依然として誤差率で27.8％の改善を達成し、ショット設定にかかわらず一貫した優位性を示した。
• ImageNetで事前学習されたモデルを用いることで、初期から訓練する場合と比較して性能の分散を最大で半減させた。特に低ショット環境下で顕著であった。
• アンサンブルによる性能向上は、事前学習モデルで最も顕著で、5ショット設定において1から5のベースモデルに増加させた際、誤差率で39.6％の改善が得られた。
• わずか5個の正例しか使用しなくても、既存のベンチマークを上回る平均精度と低い分散を達成しており、リアルタイムでのオンザフライ展開に極めて適している。
• 転移学習とアンサンブルの利点は、低ショット設定で顕著で、10〜15個を超えるアンサンブルメンバーでは収益の逓減が観察された。