[論文レビュー] Deep Learning-based Aerial Image Segmentation with Open Data for Disaster Impact Assessment

Ananya Gupta, Simon Watson+1 more|arXiv (Cornell University)|Jun 10, 2020

Automated Road and Building Extraction参考文献 32被引用数 5

ひとこと要約

本論文では、OpenStreetMap (OSM) からのオープンデータと ImageNet ファインチューニングを用いて、被災後の空中画像の自動セグメンテーションを実現する深層学習フレームワークを提案する。この手法は、意味的セグメンテーションとグラフ理論に基づく道路網の更新を組み合わせることで、人的ラベル付けへの依存を低減し、モデル間でのセグメンテーションの一貫性を向上させ、94.76のFスコアを達成する。これは個々のネットワークを上回る顕著な性能向上を示している。

ABSTRACT

Satellite images are an extremely valuable resource in the aftermath of natural disasters such as hurricanes and tsunamis where they can be used for risk assessment and disaster management. In order to provide timely and actionable information for disaster response, in this paper a framework utilising segmentation neural networks is proposed to identify impacted areas and accessible roads in post-disaster scenarios. The effectiveness of pretraining with ImageNet on the task of aerial image segmentation has been analysed and performances of popular segmentation models compared. Experimental results show that pretraining on ImageNet usually improves the segmentation performance for a number of models. Open data available from OpenStreetMap (OSM) is used for training, forgoing the need for time-consuming manual annotation. The method also makes use of graph theory to update road network data available from OSM and to detect the changes caused by a natural disaster. Extensive experiments on data from the 2018 tsunami that struck Palu, Indonesia show the effectiveness of the proposed framework. ENetSeparable, with 30% fewer parameters compared to ENet, achieved comparable segmentation results to that of the state-of-the-art networks.

研究の動機と目的

• 津波などの自然災害発生後、迅速かつ自動的に被災影響を評価するという重要なニーズに対応する。
• 被災後画像の人的ラベル付けに費やす時間が長くなるのを避けるため、OpenStreetMap (OSM) からの弱教師ありラベルを活用して、後続の画像ラベル付けのコストを削減する。
• 統一されたフレームワークを用いて、異なるニューラルネットワークアーキテクチャ間でのセグメンテーション性能と一貫性を向上させる。
• 意味的セグメンテーションとグラフベースのネットワーク更新を組み合わせることで、損傷を受けた道路やインフラの変化を正確に検出可能にする。

提案手法

• ImageNet で事前学習された畳み込みニューラルネットワーク (CNN) を活用し、空中画像のセグメンテーションにおいて一般化性能と収束速度を向上させる。
• 被災後画像の人的ラベル付けにかかるコストを回避するため、OSM データを弱教師ありのトレーニングラベルとして採用する。
• 既存の OSM 道路網に一致させることで、セグメンテーション出力における欠落または断絶した道路セグメントを検出し、修正するためのグラフ理論に基づくフレームワークを適用する。
• 被災前と被災後のセグメンテーションマスクの差分を用いて、被災影響評価のための変化ヒートマップを生成する。
• 効率性を高めた ENetSeparable（ENet より 30% のパラメータ削減）と、精度を向上させた UNetUpsample の2つの新規ネットワーク変種を提案する。
• セグメンテーション出力を OSM と統合することで、誤検出や断絶セグメントを低減した堅牢で接続性の高い道路網の更新を実現する。

実験結果

リサーチクエスチョン

• RQ1 ImageNet ファインチューニングは、ImageNet と空中画像のドメインギャップが存在するにもかかわらず、空中画像における意味的セグメンテーションモデルの性能にどの程度向上効果をもたらすか？
• RQ2 OpenStreetMap データは、被災後セグメンテーションタスクにおける深層学習モデルのトレーニングに、弱教師あり信号としてどの程度有効であるか？
• RQ3 グラフ理論に基づくフレームワークは、被災後の状況において、セグメンテーションエラーを効果的に是正し、道路網の接続性を向上させることができるか？
• RQ4 提案されたフレームワークは、異なるセグメンテーションアーキテクチャ間での性能ばらつきをどの程度低減できるか？
• RQ5 モデルアーキテクチャの選択（例：VGG16 対 ResNet）が、被災地域におけるセグメンテーション精度に与える影響は何か？

主な発見

• ImageNet ファインチューニングにより、ドメインギャップが存在するにもかかわらず、学習時間を約10エポック短縮し、精度を数パcentポイント向上させた。
• バイナリおよびマルチクラスセグメンテーションタスクの両方において、VGG16 が他のエンコーダー・アーキテクチャを上回り、評価されたモデルの中で最高のFスコアを記録した。
• 提案された ENetSeparable モデルは、30% のパラメータ削減で最先端のネットワークと同等の性能を達成し、高い効率性を示した。
• フレームワークの導入により、異なるセグメンテーションモデル間のFスコアばらつきが8%からわずか2%にまで低減され、アーキテクチャ間での一貫性が顕著に向上した。
• フレームワークを用いた際の最高Fスコアは94.76であり、最良の個別セグメンテーションモデルの73.98を大きく上回り、顕著な性能向上が確認された。
• 変化ヒートマップや損傷可視化の定性的な結果は、欧州委員会の Corpernicus 急報マッピングサービス報告書とよく一致しており、本フレームワークの実世界での妥当性が裏付けられた。