[論文レビュー] Adversarial Loss for Semantic Segmentation of Aerial Imagery

Clint Sebastian, Raffaele Imbriaco+2 more|arXiv (Cornell University)|Jan 13, 2020

Automated Road and Building Extraction参考文献 20被引用数 8

ひとこと要約

本論文は、空中画像のセマンティックセグメンテーション、特に建物抽出の分野において、敵対的損失と交差エントロピー損失を組み合わせた新しい損失関数を提案する。敵対的訓練を活用することで、後処理を伴わず構造的整合性とエッジの精錬を向上させ、DeepLab v3+ を用いたマサチューセッツ建物データセットで95.59%の新しいSOTA（最良）のリラックスF₁スコアを達成した。

ABSTRACT

Automatic building extraction from aerial imagery has several applications in urban planning, disaster management, and change detection. In recent years, several works have adopted deep convolutional neural networks (CNNs) for building extraction, since they produce rich features that are invariant against lighting conditions, shadows, etc. Although several advances have been made, building extraction from aerial imagery still presents multiple challenges. Most of the deep learning segmentation methods optimize the per-pixel loss with respect to the ground truth without knowledge of the context. This often leads to imperfect outputs that may lead to missing or unrefined regions. In this work, we propose a novel loss function combining both adversarial and cross-entropy losses that learn to understand both local and global contexts for semantic segmentation. The newly proposed loss function deployed on the DeepLab v3+ network obtains state-of-the-art results on the Massachusetts buildings dataset. The loss function improves the structure and refines the edges of buildings without requiring any of the commonly used post-processing methods, such as Conditional Random Fields. We also perform ablation studies to understand the impact of the adversarial loss. Finally, the proposed method achieves a relaxed F1 score of 95.59% on the Massachusetts buildings dataset compared to the previous best F1 of 94.88%.

研究の動機と目的

• 標準的なピクセル単位の交差エントロピー損失が空中画像のセマンティックセグメンテーションにおいて不完全または構造的に不適切な予測をもたらすという限界を是正すること。
• 敵対的訓練によるグローバルな文脈理解を組み込むことで、構造的整合性とエッジ定義を向上させ、セグメンテーション品質を改善すること。
• 条件付きランダムフィールド（CRFs）のような後処理技術に依存しないように、文脈的精錬を損失関数に直接統合すること。
• 軽量で効率的なトレーニングパイプラインを用いて、マサチューセッツ建物データセットでSOTAのパフォーマンスを達成すること。

提案手法

• 実際の正解マスクと生成された予測マスクを区別するように訓練されたディスクリミネーター・ネットワークからの敵対的損失と、標準的な交差エントロピー損失を組み合わせたハイブリッド損失関数を導入する。
• 組み合わせ損失関数を用いて、ジェネレーター（セグメンテーションネットワーク）をエンドツーエンドで訓練することで、より現実的で構造的に正確な出力を得られるようにする。
• 局所的およびグローバルな画像レベルの現実性を評価するため、PatchGANディスクリミネーターを用い、モデルがハイレベルな文脈的特徴を学習するように促進する。
• 一般化性を検証するため、DeepLab v3+、PSPNet、FC-DenseNetといった複数のアーキテクチャに損失関数を適用する。
• 特にデータ量が少ない状況でも耐性を高めるために、データオーグメンテーションを採用する。
• 推論時にはディスクリミネーターを破棄するため、追加の計算コストが発生しない。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、標準的な交差エントロピー損失を超えて、空中画像のセマンティックセグメンテーションにおける構造的品質と境界の正確性を向上させることができるか？
• RQ2 敵対的損失とピクセル単位の交差エントロピー損失を組み合わせることで、建物セグメンテーションにおけるCRFsのような後処理技術の必要性が低下するか？
• RQ3 提案された損失関数は、マサチューセッツ建物データセットにおける異なるバックボーンアーキテクチャでどのように性能を発揮するか？
• RQ4 敵対的成分は、文脈的理解をどの程度向上させ、誤検出／見逃しをどの程度低減するか？

主な発見

• 提案手法は、マサチューセッツ建物データセットでリラックスF₁スコア95.59%を達成し、以前のSOTA（94.88%）を上回った。
• 敵対的損失をFC-DenseNetに適用した場合、リラックスF₁スコアが1.26ポイント向上し、リラックスIoUは2.28ポイント向上した。
• PSPNetおよびFC-DenseNetの両方で、精度、F₁、IoUといった全評価指標において一貫した性能向上が確認され、アーキテクチャをまたがる一般化性が示された。
• 敵対的損失はエッジの精錬と欠損領域の補填を効果的に実行し、後処理を伴わず、より整合的で現実的な建物マスクを生成した。
• アブレーションスタディの結果、敵対的成分そのものが構造的整合性と境界の正確性の向上に顕著な寄与をしていることが確認された。
• 推論時にディスクリミネーターを使用しないため、追加の推論コストが発生せず、SOTAの結果を達成した。