[論文レビュー] Improving Semantic Segmentation of Aerial Images Using Patch-based Attention

Lei Ding, Hao Tang+1 more|arXiv (Cornell University)|Nov 20, 2019

Advanced Neural Network Applications参考文献 29被引用数 11

ひとこと要約

本稿では、局所的なパッチ単位のアテンションを用いて文脈表現を強化するパッチアテンションモジュール（PAM）と、高レベル特徴から低レベル特徴へと意味的注目を転送するアテンション埋め込みモジュール（AEM）を導入することで、航空画像の意味的セグメンテーション向けに軽量な局所アテンションネットワーク（LANet）を提案する。LANetは、2つの航空画像データセットにおいてベースラインのFCNおよび最先端の手法を大きく上回り、Potsdamでは全体正解率89.83%、Vaihingenでは平均F1スコア88.09%を達成した。

ABSTRACT

The trade-off between feature representation power and spatial localization accuracy is crucial for the dense classification/semantic segmentation of aerial images. High-level features extracted from the late layers of a neural network are rich in semantic information, yet have blurred spatial details; low-level features extracted from the early layers of a network contain more pixel-level information, but are isolated and noisy. It is therefore difficult to bridge the gap between high and low-level features due to their difference in terms of physical information content and spatial distribution. In this work, we contribute to solve this problem by enhancing the feature representation in two ways. On the one hand, a patch attention module (PAM) is proposed to enhance the embedding of context information based on a patch-wise calculation of local attention. On the other hand, an attention embedding module (AEM) is proposed to enrich the semantic information of low-level features by embedding local focus from high-level features. Both of the proposed modules are light-weight and can be applied to process the extracted features of convolutional neural networks (CNNs). Experiments show that, by integrating the proposed modules into the baseline Fully Convolutional Network (FCN), the resulting local attention network (LANet) greatly improves the performance over the baseline and outperforms other attention based methods on two aerial image datasets.

研究の動機と目的

• 航空画像の意味的セグメンテーションにおける、意味的表現力と空間局在化精度のトレードオフを解消すること。
• 大規模な航空画像において、グローバルなシーンコンテキストが曖昧であるため、グローバルレベルのアテンション機構に起因する限界を克服すること。
• 局所的でパッチ単位のアテンションとクロスレベルのアテンション転送を用いて、高レベルおよび低レベルの特徴表現を向上させること。
• 計算コストを増加させることなく、特徴統合を向上させる軽量で統合可能なモジュールを設計すること。

提案手法

• 画像パッチ上で局所アテンション記述子を計算するパッチアテンションモジュール（PAM）を提案し、高レベルおよび低レベルの両方の特徴におけるコンテキストに配慮した特徴表現を豊かにする。
• 高レベル特徴からの意味的注目を低レベル特徴へと転送するアテンション埋め込みモジュール（AEM）を導入し、空間的詳細を保持したまま低レベル特徴の意味的コンテンツを強化する。
• 完全畳み込みネットワーク（FCN）のバックボーンで特徴抽出後にPAMおよびAEMをプラグインモジュールとして適用し、エンドツーエンドの学習を可能にする。
• PAM内で空間的およびチャネルワイドのアテンション機構を用いて局所的コンテキストを集約し、類似した意味的クラス間の混同を低減する。
• AEMで学習可能なアテンション重み付け機構を採用し、高レベルの意味的ヒントに基づいて動的に低レベル特徴をモodulateする。
• 両モジュールを統合した統一されたネットワークアーキテクチャを構築し、名称をローカルアテンションネットワーク（LANet）として命名し、特徴統合およびセグメンテーション性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 パッチ単位の局所アテンションは、航空画像セグメンテーションにおける高レベル特徴のコンテキスト表現を向上させることができるか？
• RQ2 高レベル特徴から低レベル特徴へとアテンションベースの特徴強化を施すことで、意味的コンテンツと空間的分布のギャップを縮小できるか？
• RQ3 限られたシーンレベルの区別性を持つ大規模な航空画像において、軽量で局所的なアテンション機構はグローバルアテンション機構を上回る性能を示すか？
• RQ4 提案されたLANetは、最先端のアテンションベースおよび受容野拡大モデルと比較して、セグメンテーション精度および境界の明瞭さにおいて優れているか？

主な発見

• LANetはPotsdamデータセットで89.83%の全体正解率を達成し、ベースラインのFCN（88.66%）およびすべてのアテンションベース手法を上回った。
• Vaihingenデータセットでは、LANetは88.09%の平均F1スコアを達成し、DeepLabv3+ や PSPNet を含むすべての比較手法を上回った。
• パッチアテンションモジュール（PAM）はコンテキスト表現を向上させ、予測の断片化を低減し、境界の明瞭さを向上させた。
• アテンション埋め込みモジュール（AEM）は低レベル特徴の意味的品質を顕著に向上させ、高レベル特徴との統合を改善した。
• SE や CBAM などのグローバルアテンション機構は、航空画像ではシーンコンテキストが曖昧であるため性能を発揮せず、PAMの局所的パッチベースのアプローチがこの問題を緩和した。
• 可視化結果から、LANetはFCNや他のアテンションベースのモデルと比較して、特に車両や歩道などの小規模オブジェクトにおいてより正確で詳細なセグメンテーションを生成した。