[論文レビュー] Learning to Aggregate Multi-Scale Context for Instance Segmentation in Remote Sensing Images

Ye Liu, Huifang Li+4 more|arXiv (Cornell University)|Nov 22, 2021

Remote-Sensing Image Classification被引用数 14

ひとこと要約

本稿では、特徴、空間、インスタンスの3つのドメインにまたがるグローバルコンテキストを統合することで、判別性の高い特徴を強化する、軽量でプラグアンドプレイ可能なフレームワークであるCATNetを提案する。DenseFPN、SCP、HRoIEモジュールを統合することで、iSAID、DIOR、NWPU VHR-10、HRSIDで最小限の計算コストで最先端の性能を達成する。

ABSTRACT

The task of instance segmentation in remote sensing images, aiming at performing per-pixel labeling of objects at instance level, is of great importance for various civil applications. Despite previous successes, most existing instance segmentation methods designed for natural images encounter sharp performance degradations when they are directly applied to top-view remote sensing images. Through careful analysis, we observe that the challenges mainly come from the lack of discriminative object features due to severe scale variations, low contrasts, and clustered distributions. In order to address these problems, a novel context aggregation network (CATNet) is proposed to improve the feature extraction process. The proposed model exploits three lightweight plug-and-play modules, namely dense feature pyramid network (DenseFPN), spatial context pyramid (SCP), and hierarchical region of interest extractor (HRoIE), to aggregate global visual context at feature, spatial, and instance domains, respectively. DenseFPN is a multi-scale feature propagation module that establishes more flexible information flows by adopting inter-level residual connections, cross-level dense connections, and feature re-weighting strategy. Leveraging the attention mechanism, SCP further augments the features by aggregating global spatial context into local regions. For each instance, HRoIE adaptively generates RoI features for different downstream tasks. Extensive evaluations of the proposed scheme on iSAID, DIOR, NWPU VHR-10, and HRSID datasets demonstrate that the proposed approach outperforms state-of-the-arts under similar computational costs. Source code and pre-trained models are available at https://github.com/yeliudev/CATNet.

研究の動機と目的

• スケールの変動、低コントラスト、オブジェクトのクラスタリングといった要因により、自然画像用のインスタンスセグメンテーションモデルがリモートセンシング画像で性能を発揮できない問題に対処すること。
• 特徴、空間、インスタンスの3つの異なるドメインにおいて、グローバルコンテキストを明示的にモデル化することで、判別性の高いオブジェクト特徴を向上させること。
• 既存のインスタンスセグメンテーションパイプラインに簡単に統合できる軽量でプラグアンドプレイなモジュールを設計すること。
• 標準的なリモートセンシングベンチマーク上でのアブレーションスタディおよび比較を通じて、マルチドメインコンテキスト統合の有効性を検証すること。

提案手法

• 階層的残差接続、クロスレベルの密接続、特徴再重み付けを備えたマルチスケール特徴ピラミッドネットワークであるDenseFPNを導入し、特徴レベル間での情報伝達を向上させる。
• 空間的コンテキストピラミッド（SCP）を提案する。アテンション機構を用いてグローバルな空間的コンテキストを局所的特徴に統合し、各ピラミッドレベルでの表現力を強化する。
• 階層的リージョンオブインタレストエクストラクタ（HRoIE）を設計し、複数の特徴レベルからのRoI特徴を適応的に統合することで、検出およびセグメンテーションタスクに最適化された表現を生成する。
• 粗いものから細かいものへの処理順序を採用する：まずDenseFPNが特徴レベル間で意味的特徴を補正し、次にSCPが空間的コンテキストを統合し、最後にHRoIEがインスタンス固有の特徴を精緻化する。
• モジュラーでプラグアンドプレイな設計を採用しており、コンponentsを既存モデルに独立して追加可能であり、FLOPsの増加が最小限で、推論速度の低下も約20％にとどまる。
• アブレーションスタディを実施し、各モジュールの貢献度と最適なモジュール順序を検証。DenseFPNの次にSCPを配置することで、最高の性能が得られることを示した。

実験結果

リサーチクエスチョン

• RQ1 特徴、空間、インスタンスの異なるドメインからのグローバルコンテキストを、リモートセンシング画像のインスタンスセグメンテーションにおける特徴の判別性を向上させるために、どのように効果的に統合できるか？
• RQ2 マルチスケールコンテキスト統合モジュールの最適なアーキテクチャ的順序は何か？性能を最大化しつつ、効率を維持できるか？
• RQ3 既存のインスタンスセグメンテーションモデルの性能を著しく向上させず、計算コストを大幅に増加させない軽量でプラグアンドプレイなモジュールを設計できるか？
• RQ4 アテンションベースの空間的コンテキスト統合と適応的RoI特徴統合の統合が、挑戦的なリモートセンシングベンチマーク上での性能にどのように影響を与えるか？

主な発見

• CATNetは、iSAID、DIOR、NWPU VHR-10、HRSIDで、同等の計算コスト下でも最先端の手法を上回る性能を示し、優れた一般化性能を示した。
• アブレーションスタディにより、DenseFPN、SCP、HRoIEの3つのモジュールが独立してかつ相乗的に性能向上に寄与しており、相互干渉は見られなかった。
• 最適なモジュール順序は、DenseFPN → SCP → HRoIEであり、粗いものから細かいものへのコンテキスト統合を可能にし、段階的に特徴補正、空間的コンテキスト統合、インスタンス固有の精緻化を実現した。
• 1つまたは2つのモジュールを追加しても効率の低下は約10％にとどまり、フルモデルでもベースラインより約20％遅くなるにとどまり、実用上は許容可能な範囲であった。
• 1層のDenseFPNと128チャネルのHRoIEを備えたCATNetのライトバージョンは、ベースラインより高い推論速度を達成しながらも、より高い精度を維持した。