[論文レビュー] Contextual Hourglass Network for Semantic Segmentation of High Resolution Aerial Imagery

Panfeng Li, Youzuo Lin+1 more|arXiv (Cornell University)|Oct 30, 2018

Advanced Neural Network Applications参考文献 11被引用数 12

ひとこと要約

本稿では、文脈的時計型モジュールを備えたスタックドエンコーダ-デコーダー構造であるコンテキストゥアル・アワーガラス・ネットワーク（CxtHGNet）を提案する。この新規なコンテキストゥアル・アワーガラスモジュールは、低解像度特徴マップにチャネルワイドおよびポイントワイドのアテンションを統合することで文脈的意味を強化する。マルチスケール特徴抽出、中間監督、およびアテンション駆動型文脈モデリングを活用することで、CxtHGNetはポツダムおよびバイハインゲンデータセットで最先端の性能を達成し、ポツダムでは87.15%のpixAccおよび70.28%のmIoU、バイハインゲンでは87.26%のpixAccおよび70.50%のmIoUを達成した。

ABSTRACT

Semantic segmentation for aerial imagery is a challenging and important problem in remotely sensed imagery analysis. In recent years, with the success of deep learning, various convolutional neural network (CNN) based models have been developed. However, due to the varying sizes of the objects and imbalanced class labels, it can be challenging to obtain accurate pixel-wise semantic segmentation results. To address those challenges, we develop a novel semantic segmentation method and call it Contextual Hourglass Network. In our method, in order to improve the robustness of the prediction, we design a new contextual hourglass module which incorporates attention mechanism on processed low-resolution featuremaps to exploit the contextual semantics. We further exploit the stacked encoder-decoder structure by connecting multiple contextual hourglass modules from end to end. This architecture can effectively extract rich multi-scale features and add more feedback loops for better learning contextual semantics through intermediate supervision. To demonstrate the efficacy of our semantic segmentation method, we test it on Potsdam and Vaihingen datasets. Through the comparisons to other baseline methods, our method yields the best results on overall performance.

研究の動機と目的

• オブジェクトサイズの顕著な変動とクラス分布の不均衡が生じる高解像度空中画像における正確なピクセル単位のセマンティックセグメンテーションの課題に対処すること。
• 多様な空間スケールにわたる豊富なマルチスケール文脈的意味を捉えることで、特徴表現を向上させること。
• 階層的エンコーダ-デコーダー構造内での低解像度特徴マップへのアテンション機構の統合により、モデルのロバスト性を向上させること。
• スタックド時計型モジュールを通じた中間監督を活用し、複数の段階で予測を精緻化し、特徴学習を改善すること。
• アテンション機構とスタックドエンコーダ-デコーダー構造を統合した汎用性の高いアーキテクチャを構築し、リモートセンシングセグメンテーションタスクにおける性能を向上させること。

提案手法

• ダウンサンプリングを経て、低解像度特徴マップにチャネルワイドおよびポイントワイドのアテンションを適用し、関連する意味的文脈を強調する文脈的時計型モジュールを設計する。その後、双線形補間を用いてアップサンプリングする。
• 文脈的時計型モジュールをスタックドエンコーダ-デコーダー構造に統合し、複数のモジュールをエンドツーエンドに接続することで、スケール間で繰り返しボトムアップおよびトップダウン推論が可能になるようにする。
• すべての中間予測（最終出力のみでない）に対して損失関数を計算することで中間監督を適用し、特徴学習と予測の一貫性を向上させるフィードバックループを実現する。
• 元の時計型ネットワークを模倣した対称的アーキテクチャを採用するが、ボトムネック部にアテンションモジュールを追加して文脈表現を精緻化する。
• エンコーディング層に二重ブランチヘッドを実装する：一方のブランチはシーン内のカテゴリ存在を予測し、もう一方のブランチはチャネルワイド乗算によりクラス依存特徴マップのスケーリング係数を生成する。
• Adam最適化アルゴリズムを用いて学習率スケジューリング、データオーグメンテーション（ランダムフリップ、スケーリング、クロップ）を実施し、2段階のトレーニングプロトコル（エンコーディング層なしで事前学習し、その後フルアーキテクチャでファインチューニング）を採用する。

実験結果

リサーチクエスチョン

• RQ1 低解像度特徴マップに適用されたアテンション機構は、高解像度空中画像セグメンテーションにおける文脈的理解と予測のロバスト性を向上させるか？
• RQ2 中間監督を伴う複数の文脈的時計型モジュールのスタックは、単一ブランチまたは浅いアーキテクチャと比較して、マルチスケール特徴学習とセグメンテーション精度を向上させるか？
• RQ3 本稿で提案するCxtHGNetは、データサイズやクラスの不均衡が異なるベンチマーク空中データセットにおいて、FCN、SegNet、SHG、EncNetといった最先端モデルと比較してどのように性能を発揮するか？
• RQ4 訓練データが限られている場合でも、本モデルは小さなオブジェクトをどれほど効果的に捉え、多様な都市景観において一貫性のある予測を維持できるか？
• RQ5 本稿で提案するアーキテクチャは、アテンション機構を他のアテンションバリアントに置き換えることで、他のリモートセンシング応用に一般化可能か？

主な発見

• ポツダムデータセットでは、CxtHGNetは87.15%のピクセル精度（pixAcc）および70.28%の平均インターセクションオブユニオン（mIoU）を達成し、FCN、SegNet、SHG、EncNetを含むすべてのベースラインモデルを上回った。
• バイハインゲンデータセットでは、CxtHGNetは87.26%のpixAccおよび70.50%のmIoUを達成し、より小さなトレーニングセット（1,200サンプル）と限られたデータ可用性にもかかわらず、強力な性能を示した。
• 可視化比較では、CxtHGNetが都市景観における赤色および白色領域などの小さな細粒度オブジェクトを効果的に捉えている一方で、FCNやSegNetはそれらを検出できなかった。
• 特に類似した外観のオブジェクトを区別する際、CxtHGNetは他のモデルと比較してより一貫性があり、整合性のとれた予測を生成した。
• 強みがある一方で、CxtHGNetはたまにノイズが多い予測や、ある画像の中央上部領域のような小さな領域の誤分類を示すことがあり、局所化精度の向上の余地があることが示された。
• 中間監督およびアテンション機構のアブレーション実験により、それらが性能向上に果たす重要な役割が確認され、それらを欠如させたモデルは顕著に性能を低下させた。