[論文レビュー] Comprehensive Semantic Segmentation on High Resolution UAV Imagery for Natural Disaster Damage Assessment

Maryam Rahnemoonfar, Tashnim Chowdhury+2 more|arXiv (Cornell University)|Sep 2, 2020

Advanced Neural Network Applications参考文献 47被引用数 5

ひとこと要約

本稿では、ハリケーンマイケルの直後、2,000枚の画像から構成される大規模かつ高解像度のUAVデータセットHRUDを紹介し、状態SOTAのセマンティックセグメンテーションモデル—DeepLabv3+、PSPNet、ENet—を用いて包括的な被害分類を評価している。PSPNetは、ピラミッドプーリングによるグローバルコンテキストモデリングのおかげで、9クラス分類タスク全体において平均IoUが99.81と最高の性能を示した。

ABSTRACT

In this paper, we present a large-scale hurricane Michael dataset for visual perception in disaster scenarios, and analyze state-of-the-art deep neural network models for semantic segmentation. The dataset consists of around 2000 high-resolution aerial images, with annotated ground-truth data for semantic segmentation. We discuss the challenges of the dataset and train the state-of-the-art methods on this dataset to evaluate how well these methods can recognize the disaster situations. Finally, we discuss challenges for future research.

研究の動機と目的

• 自然災害被害評価のための大規模かつ高解像度のUAVデータセットの不足に対処すること。
• 状態SOTAのディープラーニングモデルを、自然災害現場の包括的セマンティックセグメンテーションに適用して評価すること。
• 破壊物、砂、全壊建物など、類似したテクスチャを持つクラスを分類する際の課題を特定すること。
• 今後の自動災害被害評価研究のためのベンチマークデータセット（HRUD）を提供すること。

提案手法

• ハリケーンマイケルの直後に撮影された2,000枚の高解像度（3000×4000）UAV航空写真の収集。
• 9つのクラス（建物（サブクラス付）、道路、破壊物、水、プール、木、砂、車両）を含む詳細なセマンティックセグメンテーションデータセットの作成。
• セマンティックセグメンテーションに、3つの最新のディープラーニングモデル（DeepLabv3+、PSPNet、ENet）を適用。
• マルチスケールのコンテキストモデリングとして、ピラミッドプーリング（PSPNet）、アトロスコンボリューション（DeepLabv3+）、エンコーダデコーダアーキテクチャ（ENet）を用いる。
• データオーグメンテーションと学習率スケジューリングを用いた交差エントロピー損失による学習と評価。
• 2クラス、4クラス、9クラスセグメンテーションの複数の実験設定において、平均交差率（mIoU）を用いて評価。

実験結果

リサーチクエスチョン

• RQ1 状態SOTAのセマンティックセグメンテーションモデルは、自然災害被害評価のための大規模かつ高解像度のUAVデータセット上で、どの程度の性能を示すか？
• RQ2 破壊物、砂、全壊建物など、類似したテクスチャを持つクラスを、災害後現場で分類する際の主な課題は何か？
• RQ3 なぜモデルは空中からの視点で、中程度被害と深刻被害の建物を区別することができないのか？
• RQ4 グローバルコンテキストモデリング（例：ピラミッドプーリング）を用いることで、複雑な災害現場におけるセグメンテーション性能はどのように向上するか？
• RQ5 クラスの不均衡や低インスタンスクラス（例：プール、車両）は、モデルの一般化性能にどのような影響を与えるか？

主な発見

• PSPNetは9クラスセグメンテーションタスクで最高の平均IoU 99.81を達成し、DeepLabv3+およびENetを上回った。
• すべてのモデルが破壊物、車両、プール、全壊建物のクラスで最も低い性能を示し、IoU値は0.5未満であった。
• 中程度被害と深刻被害の建物を区別する困難さは、モデル間で一貫しており、上空からの視点による視覚的手がかりの不足が要因であった。
• ENetは定量的な性能が最低であったが、質的評価では妥当な結果を示し、構造的制限にもかかわらず頑健であることが示された。
• DeepLabv3+およびPSPNetの性能は、基本学習率に極めて敏感であり、ハイパーパramータの慎重なチューニングが不可欠であることがわかった。
• PSPNetのグローバルピラミッドプーリングモジュールは、アトロスコンボリューションやエンコーダデコーダ構造に比べ、特に複雑なテクスチャや小さな類似した物体に対して優れたコンテキストモデリングを実現した。