[論文レビュー] Fully convolutional Siamese neural networks for buildings damage assessment from satellite images

Eugene Khvedchenya, Tatiana Gabruseva|arXiv (Cornell University)|Oct 31, 2021

Remote-Sensing Image Classification被引用数 7

ひとこと要約

本稿では、被災前後における衛星画像を用いた自動的建物被害評価のため、エンコーダ・デコーダアーキテクチャを備えた完全畳み込み型シアンプスニューラルネットワークを提案する。ペア化された画像の特徴レベルでの連結と重み付き交差エントロピー損失を活用することで、xView2チャレンジにおいて重み付きF1スコア0.7776を達成し、標準的手法やアブレーションバージョンを上回る最先端の性能を発揮した。

ABSTRACT

Damage assessment after natural disasters is needed to distribute aid and forces to recovery from damage dealt optimally. This process involves acquiring satellite imagery for the region of interest, localization of buildings, and classification of the amount of damage caused by nature or urban factors to buildings. In case of natural disasters, this means processing many square kilometers of the area to judge whether a particular building had suffered from the damaging factors. In this work, we develop a computational approach for an automated comparison of the same region's satellite images before and after the disaster, and classify different levels of damage in buildings. Our solution is based on Siamese neural networks with encoder-decoder architecture. We include an extensive ablation study and compare different encoders, decoders, loss functions, augmentations, and several methods to combine two images. The solution achieved one of the best results in the Computer Vision for Building Damage Assessment competition.

研究の動機と目的

• 自然災害後の迅速かつ自動的な建物被害評価の緊急的なニーズに対応するため。
• 被災前後画像ペアを用いて、同時に建物の局所化と被害レベル分類を実行する深層学習モデルを開発するため。
• 大多数の建物が被害なしであるという被害ラベルのクラス不均衡を、効果的な損失重み付けとデータ拡張によって克服するため。
• 多数のエンコーダ、デコーダ、損失関数、画像結合戦略を評価することで、モデルアーキテクチャを最適化するため。
• エンドツーエンド学習と広範なアブレーションスタディを用いて、xView2コンピュータビジョンによる建物被害評価チャレンジで高い性能を達成するため。

提案手法

• 被災前後画像ペア（1024×1024 px）から特徴を抽出するために、共有エンコーダ重みを有するシアンプスニューラルネットワークを採用する。
• デコーダの前段で、2つの画像からの特徴マップを連結または差分により結合し、連結の方が優れた性能を示した。
• U-Net風のデコーダを用いて、5クラスのセマンティックセグメンテーションマスク（0：建物なし、1–4：被害レベル）をフル解像度で再構築する。
• 損傷分布が各foldに均等に保たれるように、マルチラベルストラティフィケーションを用いた5分割交差検証を、512×512のクロップ画像で実施する。
• 一般化性能を向上させるために、空間的および色のデータ拡張を適用する。特に、レアな被害クラスに対して有効である。
• 「建物なし」と「被害なし」クラスには1.0の重みを、『軽微』『深刻』『崩壊』被害クラスには3.0の重みを設定した重み付き交差エントロピー損失を実装し、クラス不均衡に対処する。

実験結果

リサーチクエスチョン

• RQ1 共有重みを有するシアンプスアーキテクチャは、ペア画像の標準的特徴連結と比較して、建物被害評価においてどのように性能を発揮するか？
• RQ2 特徴連結と差分のどちらの画像結合法が、被害分類および局所化の性能を向上させるか？
• RQ3 ResNet、DenseNet、EfficientNetなどの事前学習済みエンコーダアーキテクチャの中で、このタスクにおいて精度と計算コストのバランスが最良となるのはどれか？
• RQ4 特に重み付き交差エントロピー損失を含む、さまざまな損失関数は、不均衡な被害分類データに対するモデル性能にどのように影響するか？
• RQ5 データ拡張戦略は、特に代表が不足する被害クラスに対して、モデルのロバスト性と一般化性能をどの程度向上させるか？

主な発見

• 特徴マップ連結を用いたシアンプスアーキテクチャは、標準的画像連結を上回り、SE-ResNeXt-50エンコーダとU-Netデコーダを用いて重み付きF1スコア0.7776を達成した。
• SE-ResNeXt-50エンコーダが最高の性能（F1loc: 0.8797、F1class: 0.7338、Score: 0.7776）を発揮し、ResNetおよびDenseNetのバリエーションを上回った。
• 被害クラスに3.0の重みを設定した重み付き交差エントロピー損失は、標準的交差エントロピーと比較してF1classを0.018向上させ、特に希少な被害レベルの性能を顕著に向上させた。
• 空間的および色の拡張は、拡張なしと比較してF1classを0.018向上させたが、より強い拡張はさらなる向上をもたらさなかった。
• U-NetデコーダはFPNを常に上回り、全エンコーダタイプで重み付きF1スコアが0.005～0.015向上した。
• ResNet-18および他の軽量エンコーダは、過小適合のため性能が低く、複雑な被害パターンを捉えるにはより深いアーキテクチャが必要であることが示された。