[論文レビュー] PointFlow: Flowing Semantics Through Points for Aerial Image Segmentation

Xiangtai Li, Hao He+7 more|arXiv (Cornell University)|Mar 11, 2021

Advanced Neural Network Applications参考文献 65被引用数 7

ひとこと要約

本稿では、空中画像セグメンテーションにおける前景・背景クラスのアンバランスと小規模オブジェクトセグメンテーションの課題に対処する、新規のポイントワイズアフィニティプロパゲーションモジュールであるPointFlowを提案する。二重ポイントマッチャーを用いて顕著で境界領域のポイントを選択することで、特徴ピラミッドのレベル間で効率的かつスパースなアフィニティ学習を可能にし、3つの空中画像ベンチマークで最先端の精度と速度を達成するとともに、一般のセグメンテーションデータセットでも優れた性能を示した。

ABSTRACT

Aerial Image Segmentation is a particular semantic segmentation problem and has several challenging characteristics that general semantic segmentation does not have. There are two critical issues: The one is an extremely foreground-background imbalanced distribution, and the other is multiple small objects along with the complex background. Such problems make the recent dense affinity context modeling perform poorly even compared with baselines due to over-introduced background context. To handle these problems, we propose a point-wise affinity propagation module based on the Feature Pyramid Network (FPN) framework, named PointFlow. Rather than dense affinity learning, a sparse affinity map is generated upon selected points between the adjacent features, which reduces the noise introduced by the background while keeping efficiency. In particular, we design a dual point matcher to select points from the salient area and object boundaries, respectively. Experimental results on three different aerial segmentation datasets suggest that the proposed method is more effective and efficient than state-of-the-art general semantic segmentation methods. Especially, our methods achieve the best speed and accuracy trade-off on three aerial benchmarks. Further experiments on three general semantic segmentation datasets prove the generality of our method. Code will be provided in (https: //github.com/lxtGH/PFSegNets).

研究の動機と目的

• 空中画像セグメンテーションにおける極端な前景・背景クラスのアンバランスと複雑な背景を解決する。
• 高解像度リモートセンシング画像におけるノイズの多い背景コンテキストにより、密なアフィニティ学習手法が失敗する問題を克服する。
• 特徴ピラミッドにおける高解像度と低解像度の特徴の間の意味的ギャップを埋め、小規模オブジェクトの理解を向上させる。
• 計算コストを低減しつつセグメンテーション精度を向上させる、効率的なスパースな情報伝搬メカニズムを開発する。
• 提案手法が空中画像および一般用途のセマンティックセグメンテーションベンチマークの両方で一般化できることを示す。

提案手法

• 隣接する特徴ピラミッドレベル間の選択されたキーポイント上で動作する、スパースなアフィニティプロパゲーション機構であるPointFlowモジュール（PFM）を提案する。
• 顕著領域（顕著マップの最大プーリングによる）とオブジェクト境界（差分ベースの境界予測による）からポイントを選択する二重ポイントマッチャーを設計する。
• 異なる特徴レベル間のマッチドポイントから抽出された特徴を用いてポイントワイズアフィニティを推定し、背景領域からのノイズを低減する。
• 上位レイヤーの特徴を下位レイヤーに統合する際、学習されたスパースなアフィニティマップがガイドされ、小規模オブジェクトのためのより良い意味的表現が強化される。
• PFNetを構築するために、FPNフレームワークにPFMを統合し、軽量で効率的なセグメンテーションネットワークを実現する。
• ベンチマークデータセットにおける一般化を向上させるために、水平フリップ増強を用いたマルチスケール推論戦略を採用する。

Figure 1: Illustration of an aerial image segmentation example and our proposed module. The first row presents the input image and ground truth with complex backgrounds and small objects. The second row indicates the schematic diagram on dense affinity propagation and our proposed point-based propag

実験結果

リサーチクエスチョン

• RQ1 極端な前景・背景クラスのアンバランス下で、空中画像セグメンテーションにおいてスパースでポイントベースのアフィニティ学習が、密なアフィニティ学習を上回る可能性があるか？
• RQ2 二重ポイントマッチャーは、顕著領域とオブジェクト境界からの情報を豊富に含むポイントを効果的に選択でき、特徴伝搬を改善するのか？
• RQ3 提案されたPointFlowモジュールは、複雑な背景からのノイズを低減しつつ、セグメンテーション精度を維持または向上させることができるのか？
• RQ4 PFNetは、空中画像セグメンテーションベンチマークにおいて、最先端の手法と比較して、より優れた精度・速度トレードオフを達成できるのか？
• RQ5 提案されたモジュールは、空中画像を越えて一般用途のセマンティックセグメンテーションデータセットにも一般化可能か？

主な発見

• iSAIDではPFNetが70.4%のmIoUを達成し、以前のSOTA手法FarSegを3.2ポイント上回った。
• VaihingenではPFNetが75.4%のmIoUを達成し、HRNet-W18 や GSCNNを含むすべての比較手法を上回った。
• Postdamではクラスタ／背景カテゴリで91.1%のmIoUを達成し、複雑な背景領域における強力な性能を示した。
• 3つの空中画像ベンチマークすべてにおいて、すべての評価モデルの中で最良のスピード・精度トレードオフを達成し、iSAIDでは64.6 GFLOPsを要した。
• 一般セグメンテーションデータセット（Cityscapes, ADE20k, BDD）においても、EMANet や RANet などの先行手法と比較して顕著に少ないGFLOPsで競争力あるmIoUスコアを達成した。
• 可視化結果から、PFNetは特に小さなターゲットを含む複雑なシーンにおいて、小規模オブジェクトをよりよく保持し、セグメンテーションテイルを低減していることが確認された。

Figure 2: (a), The overal pipeline of our proposed PointFlow Module. Left: Two adjacent features with one salient map are sent to the Dual Index Generator to obtain the sampled indexes. Right: The sampled point features are propagated from top to the bottom and finally scattered into the low level f