[論文レビュー] Encoded Hourglass Network for Semantic Segmentation of High Resolution Aerial Imagery.

Panfeng Li, Youzuo Lin+1 more|arXiv (Cornell University)|Oct 30, 2018

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

本稿では、スタックドエンコーダーデコーダー構造とコンテキストエンコーディングモジュールを組み合わせることで、高解像度空中画像のセマンティックセグメンテーションにおけるマルチスケール特徴抽出とグローバルコンテキストモデリングを向上させる、エンコードド・アワーガラスネットワークを提案する。複数のデコーダーにわたる中間監督を活用することで、ポツダムテストセットで87.01%のピクセル精度と69.78%のmIoUを達成し、ベースラインモデルを上回る性能を示した。

ABSTRACT

Fully Convolutional Network (FCN) has been widely used in recent work for semantic segmentation of high resolution aerial imagery. However, FCN is poor at extracting multi-scale features and exploiting contextual information. In this paper, we explore stacked encoder-decoder structure which enables repeated bottom-up, top-down inference across various scales and consolidates global and local information of the image. Moreover, we utilize the Context Encoding Module to capture the global contextual semantics of scenes and selectively emphasize or de-emphasize class-dependent featuremaps. Our approach is further enhanced by intermediate supervision on the predictions of multiple decoders and has achieved 87.01% pixel accuracy and 69.78% mIoU on Potsdam test set, which surpasses various baseline models.

研究の動機と目的

• 高解像度空中画像におけるマルチスケール特徴とコンテキスト情報の捉えにくさを抱える完全畳み込みネットワーク（FCNs）の限界を解消すること。
• 新たなコンテキストエンコーディングモジュールを統合することで、グローバルコンテキストの意味的側面を統合し、セマンティックセグメンテーションの性能を向上させること。
• スタックドエンコーダーデコーダー構造により、複数スケールにわたる繰り返しのボトムアップおよびトップダウン推論を可能にすることで、特徴学習を強化すること。
• 複数のデコーダー予測に対する中間監督を用いることで、モデルの汎化性能と特徴の精錬を向上させること。

提案手法

• モデルは、複数スケールにわたる繰り返しのボトムアップおよびトップダウン特徴伝搬を可能にするスタックドエンコーダーデコーダー構造を採用する。
• グローバルシーンの意味的側面を捉え、クラス依存の特徴マップ変調を実行するためのコンテキストエンコーディングモジュールを導入する。
• 複数のデコーダーからの予測に中間監督を適用することで、学習の安定性と特徴表現を向上させる。
• エンコーダーからの高解像度特徴とデコーダーからのアップサンプリング特徴を結合するスキップ接続を用いることで、正確な局所化を実現する。
• クロスエントロピー損失を用いてエンドツーエンドで学習し、標準的なディープラーニング最適化手法で最適化する。
• コンテキストエンコーディングモジュールは、グローバルコンテキストベクトルを特徴マップ全体にブロードキャストすることで、特定の意味的クラスを強調または抑制する。

実験結果

リサーチクエスチョン

• RQ1 スタックドエンコーダーデコーダー構造は、高解像度空中画像セグメンテーションにおけるマルチスケール特徴学習とコンテキストモデリングをどのように改善するか？
• RQ2 コンテキストエンコーディングモジュールの統合は、セマンティックセグメンテーションにおけるグローバルシーン意味の表現にどのような影響を与えるか？
• RQ3 複数のデコーダーヘッドにおける中間監督は、セグメンテーション精度と特徴品質をどの程度向上させるか？
• RQ4 提案されたアーキテクチャは、ベンチマーク空中セグメンテーションデータセットにおいて、標準的なFCNベースのモデルを上回る性能を示すか？

主な発見

• 提案されたエンコードド・アワーガラスネットワークは、ポツダムテストセットで87.01%のピクセル精度を達成し、高解像度空中画像における強力な性能を示した。
• モデルは69.78%の平均交差率（mIoU）を達成し、複数のベースラインモデルを上回るセグメンテーション品質を実現した。
• コンテキストエンコーディングモジュールの統合により、グローバルコンテキストモデリングが強化され、より一貫性があり正確なクラス予測が可能になった。
• 複数のデコーダーにわたる中間監督は、特徴の精錬を促進し、より良い汎化性能と収束性に寄与した。
• スタックドエンコーダーデコーダー構造により、マルチスケール特徴の有効な統合が可能となり、局所化精度と境界精度が向上した。
• 標準的なFCNベースのモデルと比較して、本手法は優れた性能を示し、構造的なマルチスケールおよびグローバルコンテキスト学習の利点を明らかにした。