[論文レビュー] Assessing out-of-domain generalization for robust building damage detection

Vitus Benson, Alexander Ecker|arXiv (Cornell University)|Nov 20, 2020

Infrastructure Maintenance and Monitoring参考文献 24被引用数 15

ひとこと要約

本稿は、衛星画像を用いた建物損傷検出におけるドメイン外（OOD）一般化を評価し、訓練時に見られなかった災害に対して、最先端モデルの性能が著しく低下することを明らかにした。分布内（IID）性能は、実世界のOOD性能を予測するのに不適切であり、多ドメイン適応的バッチ正規化や確率的重み平均化といった技術が耐性を高めることを示した。

ABSTRACT

An important step for limiting the negative impact of natural disasters is rapid damage assessment after a disaster occurred. For instance, building damage detection can be automated by applying computer vision techniques to satellite imagery. Such models operate in a multi-domain setting: every disaster is inherently different (new geolocation, unique circumstances), and models must be robust to a shift in distribution between disaster imagery available for training and the images of the new event. Accordingly, estimating real-world performance requires an out-of-domain (OOD) test set. However, building damage detection models have so far been evaluated mostly in the simpler yet unrealistic in-distribution (IID) test setting. Here we argue that future work should focus on the OOD regime instead. We assess OOD performance of two competitive damage detection models and find that existing state-of-the-art models show a substantial generalization gap: their performance drops when evaluated OOD on new disasters not used during training. Moreover, IID performance is not predictive of OOD performance, rendering current benchmarks uninformative about real-world performance. Code and model weights are available at https://github.com/ecker-lab/robust-bdd.

研究の動機と目的

• ドメイン外（OOD）分布シフト下における建物損傷検出モデルの実世界の耐性を評価すること。
• 訓練時とは異なる分布のテストセットに依存することの問題を提起し、実災害シナリオにおけるモデル性能を過大評価する要因となること。
• 訓練時に見られなかった災害を用いて構築された、新たなOODテストベンチマーク（OOD-xBD）の設計と検証。
• 多ドメイン適応的バッチ正規化（AdaBN）や確率的重み平均化（SWA）といった既存の耐性向上技術がOOD一般化を改善するかを調査すること。
• 現在のSOTAモデルが未確認の災害において顕著な性能低下を示し、実用的展開の可能性を損なっていることを実証すること。

提案手法

• 訓練とテストの災害が重複しないように、xDatasetを災害ごとに分割することで、OODテストセット（OOD-xBD）を構築した。
• xDatasetのxView2スコアを用いて、2つの最先端モデル（Two-stream ResNet50とDual-HRNet）をIIDおよびOODテストセットで評価した。
• 多ドメイン適応的バッチ正規化（AdaBN）を適用し、ドメイン不変のバッチ統計を学習することでドメイン一般化を向上させた。
• 確率的重み平均化（SWA）を用いて、複数の訓練エポックにわたる重みの平均化によりモデル一般化を強化した。
• 複数のOODテストスプリットにおけるモデル性能を比較し、元のGupta & Shah（2020）のOODセットおよび新しいOOD-xBDセットにおける耐性技術の効果を評価した。
• 性能低下を定量化するために、平均xView2スコアおよび標準偏差を用いた一般化ギャップ（IID－OOD）を報告した。

実験結果

リサーチクエスチョン

• RQ1 訓練時に見られなかったドメイン外災害に対して、最先端の建物損傷検出モデルはどの程度の性能を示すか？
• RQ2 建物損傷検出において、分布内（IID）性能とドメイン外（OOD）性能の相関はどの程度のものか？
• RQ3 多ドメイン適応的バッチ正規化（AdaBN）や確率的重み平均化（SWA）といった既存の耐性技術が、OOD一般化を改善できるか？
• RQ4 観察された一般化ギャップは、データ分割のアーティファクトに起因するものか、それとも現在のモデルの根本的限界を反映しているのか？
• RQ5 より現実的であるとされる新たなOODベンチマーク（OOD-xBD）は、実世界の災害シナリオにおけるモデル耐性の信頼できる評価を可能にするか？

主な発見

• Two-stream ResNet50はIIDデータでxView2スコア0.74を達成したが、OOD-xBDでは0.60に低下し、一般化ギャップが0.14に達した。
• Dual-HRNetは一般化ギャップが0.06にとどまり、IIDで0.73、OOD-xBDで0.67を記録したが、依然として未確認災害での性能が劣化していた。
• IID性能はOOD性能を予測できないことが判明した。同程度のIIDスコアを示すモデルが、OOD性能で著しく異なる結果を示した。
• 多ドメインAdaBNとSWAの組み合わせにより、Two-stream ResNet50のOODスコアはOOD-xBDセットで0.59から0.65に向上し、一般化ギャップは0.07にまで縮小された。
• 多ドメインAdaBNはDual-HRNetモデルのOOD一般化を最も向上させ、OOD-xBDセットで最小の全体一般化ギャップ0.04を達成した。
• 結果から、耐性技術がOOD一般化を顕著に改善することが確認されたが、依然として顕著なギャップが残っており、BDD分野におけるより優れたドメイン一般化手法の開発が求められることが示された。