[論文レビュー] A Relation-Augmented Fully Convolutional Network for Semantic Segmentation in Aerial Scenes

Lichao Mou, Yuansheng Hua+1 more|arXiv (Cornell University)|Apr 11, 2019

Advanced Neural Network Applications参考文献 43被引用数 15

ひとこと要約

本論文は、空間的およびチャネルワイドの長距離関係を明示的にモデル化する2つのプラグアンドプレイモジュール（空間的関係モジュールとチャネル関係モジュール）を用いて、航空画像におけるセマンティックセグメンテーションを向上させる関係拡張型完全畳み込みネットワーク（RA-FCN）を提案する。この手法は、Vaihingenデータセットにおいて88.54%の平均F1スコアと89.23%の全体精度を達成し、FCN-dCRF や SCNN などのベースラインを著しく上回る最先端の性能を発揮した。

ABSTRACT

Most current semantic segmentation approaches fall back on deep convolutional neural networks (CNNs). However, their use of convolution operations with local receptive fields causes failures in modeling contextual spatial relations. Prior works have sought to address this issue by using graphical models or spatial propagation modules in networks. But such models often fail to capture long-range spatial relationships between entities, which leads to spatially fragmented predictions. Moreover, recent works have demonstrated that channel-wise information also acts a pivotal part in CNNs. In this work, we introduce two simple yet effective network units, the spatial relation module and the channel relation module, to learn and reason about global relationships between any two spatial positions or feature maps, and then produce relation-augmented feature representations. The spatial and channel relation modules are general and extensible, and can be used in a plug-and-play fashion with the existing fully convolutional network (FCN) framework. We evaluate relation module-equipped networks on semantic segmentation tasks using two aerial image datasets, which fundamentally depend on long-range spatial relational reasoning. The networks achieve very competitive results, bringing significant improvements over baselines.

研究の動機と目的

• 航空画像のセマンティックセグメンテーションにおいて、畳み込みニューラルネットワーク（CNN）が長距離空間的およびチャネルワイド関係をモデル化する能力に制限を受けることに対処すること。
• 空間的位置と特徴マップ間のグローバルな文脈的関係を明示的に学習することで、完全畳み込みネットワーク（FCN）の特徴表現を向上させること。
• 既存のFCNフレームワークを大幅に再設計せずに、汎用的でプラグアンドプレイ可能なモジュールを開発すること。
• 視覚的曖昧性が顕著に現れる航空画像において、空間的およびチャネルワイド関係モジュールの有効性を検証すること。
• アブレーションおよび比較研究を通じて、ベンチマークとしての航空画像データセットにおける優れた性能を実証すること。

提案手法

• 特徴マップ内の任意の2つの空間的位置間のグローバル関係を、クエリ・キー・バリューのアテンションに類似した操作を用いてモデル化する空間的関係モジュールを導入する。
• チャネル次元にわたる特徴マップ間の相互依存関係を捉えることで、チャネルワイド表現を強化するチャネル関係モジュールを提案する。
• 関係に配慮した特徴マッピングを元の特徴に連結または加算することで、より良いセグメンテーションを実現する関係拡張型特徴統合機構を採用する。
• 最適な特徴強化戦略を探索するために、空間的およびチャネル関係モジュールの直列的および並列的統合をサポートする。
• すべての空間的位置対または特徴マップ対間の関係を学習可能で微分可能なメカニズムで計算することで、エンド・ツー・エンドの学習を可能にする。
• ResNetなどの既存のFCNバックボーンの上に、コアネットワークアーキテクチャを変更せずに、プラグアンドプレイの形でモジュールを適用する。

実験結果

リサーチクエスチョン

• RQ1 視覚的曖昧性が著しい航空画像において、長距離空間的関係を明示的にモデル化することで、セマンティックセグメンテーションの精度が向上するか？
• RQ2 チャネルワイド関係は、セマンティックセグメンテーションネットワークにおける特徴表現をどのように向上させるか？
• RQ3 空間的およびチャネル関係モジュールを統合する最適な方法は、直列的か並列的か？最大のパフォーマンス向上が得られるのはどちらか？
• RQ4 関係モジュールは、複雑な航空画像における空間的断片化をどの程度軽減し、予測の一貫性を向上させるか？
• RQ5 提案されたモジュールは、異なる航空画像データセットに一般化可能であり、局所的受容野やCRFに依存する既存手法を上回る性能を発揮するか？

主な発見

• RA-FCNは、Vaihingenデータセットで88.54%の平均F1スコアと89.23%の全体精度を達成し、FCN-dCRF や SCNN と比較して平均F1スコアでそれぞれ4.98%および3.69%の上回りを記録した。
• Potsdamデータセットでは、空間的関係モジュール単体でも、FCN-dCRF より2.25%、SCNN より2.67%の平均F1スコア向上を達成した。
• 空間的およびチャネル関係モジュールを直列に統合した場合、ベースラインFCNに比べて平均F1スコアが1.39%向上し、平均IoUが1.54%向上した。
• RA-FCNは、車両など散在的または視覚的に曖昧な物体の認識を顕著に向上させ、長距離推論の強みを示した。
• 定性的な結果では、RA-FCNが不透過表面の誤分類を低減し、特に曖昧領域において建物セグメンテーションにおける外れ値を排除していることが確認された。
• アブレーションスタディの結果、両モジュールが意味のあるグローバル関係を学習していることが確認され、特に遠方の文脈を用いて局所的な曖昧性を解消する空間モジュールの有効性が顕著に示された。