[論文レビュー] CATNet: Context AggregaTion Network for Instance Segmentation in Remote Sensing Images.

Ye Liu, Huifang Li+4 more|arXiv (Cornell University)|Nov 22, 2021

Advanced Neural Network Applications参考文献 54被引用数 4

ひとこと要約

CATNet は、リモートセンシング画像におけるインスタンスセグメンテーションのための新しいコンテキスト集約ネットワークであり、特徴、空間、インスタンスの3つのドメインにわたるグローバルコンテキストを集約することで特徴抽出を向上させる、3つの軽量モジュール（DenseFPN、SCP、HRoIE）を導入している。iSAID、DIOR、NWPU VHR-10、HRSID で最先端の性能を達成しており、計算コストは類似している。

ABSTRACT

The task of instance segmentation in remote sensing images, aiming at performing per-pixel labeling of objects at instance level, is of great importance for various civil applications. Despite previous successes, most existing instance segmentation methods designed for natural images encounter sharp performance degradations when directly applied to top-view remote sensing images. Through careful analysis, we observe that the challenges mainly come from lack of discriminative object features due to severe scale variations, low contrasts, and clustered distributions. In order to address these problems, a novel context aggregation network (CATNet) is proposed to improve the feature extraction process. The proposed model exploits three lightweight plug-and-play modules, namely dense feature pyramid network (DenseFPN), spatial context pyramid (SCP), and hierarchical region of interest extractor (HRoIE), to aggregate global visual context at feature, spatial, and instance domains, respectively. DenseFPN is a multi-scale feature propagation module that establishes more flexible information flows by adopting inter-level residual connections, cross-level dense connections, and feature re-weighting strategy. Leveraging the attention mechanism, SCP further augments the features by aggregating global spatial context into local regions. For each instance, HRoIE adaptively generates RoI features for different downstream tasks. We carry out extensive evaluation of the proposed scheme on the challenging iSAID, DIOR, NWPU VHR-10, and HRSID datasets. The evaluation results demonstrate that the proposed approach outperforms state-of-the-arts with similar computational costs. Code is available at https://github.com/yeliudev/CATNet.

研究の動機と目的

• トップビューのリモートセンシング画像に適用された自然画像のインスタンスセグメンテーションモデルにおける性能低下を解消すること。
• リモートセンシング画像に見られるスケールの変動、低コントラスト、オブジェクトのクラスタリングによる課題を克服すること。
• 特徴、空間、インスタンスの3レベルでグローバルな視覚的コンテキストを集約することで、特徴表現を向上させること。
• 計算コストを著しく増加させることなく、特徴抽出を強化できる軽量でプラグアンドプレイ可能なモジュールを設計すること。

提案手法

• 異なるスケール間での情報伝達を向上させるために、階層間リサルト接続、階層間の密接続、特徴再重み付けを備えたマルチスケール特徴ピラミッドであるDenseFPNを提案する。
• 局所的特徴領域にグローバルな空間的コンテキストを注入するために、アテンション機構を用いた空間的コンテキストピラミッド（SCP）を導入する。
• 個々のインスタンスに応じて、異なる後続タスクに適したRoI特徴を自己適応的に生成する階層的領域の注目抽出器（HRoIE）を開発する。
• DenseFPN、SCP、HRoIE の3つのモジュールを統合し、エンドツーエンドの学習と推論が可能な統一されたネットワークを構築する。
• DenseFPNにおけるアテンションベースの特徴再重み付けにより、特徴マップ全体で情報量の多い特徴を強調する。
• モジュールが軽量かつプラグアンドプレイ可能であるように設計されており、既存のインスタンスセグメンテーションフレームワークへの容易な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 特徴、空間、インスタンスの3つのレベルで、どのようにしてグローバルな視覚的コンテキストを効果的に集約し、リモートセンシングにおけるインスタンスセグメンテーションの性能を向上させることができるか？
• RQ2 軽量でプラグアンドプレイ可能なモジュールは、スケールの変動や低コントラストを示すリモートセンシング画像において、特徴表現をどの程度向上させることができるか？
• RQ3 マルチスケール、空間的、インスタンスレベルのコンテキスト集約を統合した統一されたネットワークアーキテクチャは、既存の最先端手法を上回ることができるか？
• RQ4 提案されたCATNetは、オブジェクトの分布や画像特性が異なる多様なリモートセンシングベンチマークで、どの程度の性能を示すか？

主な発見

• CATNet は、類似した計算コストの下で、iSAID データセットで最先端の性能を達成しており、従来手法を上回っている。
• DIOR データセットでは、多様なシーンカテゴリとオブジェクトスケールにわたる優れた一般化能力を示している。
• NWPU VHR-10 および HRSID データセットでも一貫した性能向上が得られており、特にクラスタリングや小スケールオブジェクトの処理において顕著である。
• アブレーションスタディの結果、DenseFPN、SCP、HRoIE の各モジュールが全体の性能向上に顕著な寄与をしていることが確認された。
• モジュールの軽量設計により、ベースラインモデルと比較して推論時間およびパラメータ数の増加が最小限に抑えられている。
• SCPにおけるアテンションベースのコンテキスト集約により、特に低コントラストおよびごみだらけの領域での特徴の区別能が向上している。