[論文レビュー] PFENet++: Boosting Few-shot Semantic Segmentation with the Noise-filtered Context-aware Prior Mask

Xiaoliu Luo, Zhuotao Tian+4 more|arXiv (Cornell University)|Sep 28, 2021

Advanced Neural Network Applications参考文献 54被引用数 7

ひとこと要約

PFENet++ は、より良いオブジェクト局在化を実現するための領域特徴相関を活用するコンテキスト対応型プリオリマスク（CAPM）と、サポート特徴からのノイズの多い応答をフィルタリングするノイズ抑制モジュール（NSM）を導入することで、少数ショットセマンティックセグメンテーションを向上させた。この手法は、効率を損なわずに PASCAL-5i、COCO-20i、FSS-1000 ベンチマークで新たな最先端性能を達成した。

ABSTRACT

In this work, we revisit the prior mask guidance proposed in ``Prior Guided Feature Enrichment Network for Few-Shot Segmentation''. The prior mask serves as an indicator that highlights the region of interests of unseen categories, and it is effective in achieving better performance on different frameworks of recent studies. However, the current method directly takes the maximum element-to-element correspondence between the query and support features to indicate the probability of belonging to the target class, thus the broader contextual information is seldom exploited during the prior mask generation. To address this issue, first, we propose the Context-aware Prior Mask (CAPM) that leverages additional nearby semantic cues for better locating the objects in query images. Second, since the maximum correlation value is vulnerable to noisy features, we take one step further by incorporating a lightweight Noise Suppression Module (NSM) to screen out the unnecessary responses, yielding high-quality masks for providing the prior knowledge. Both two contributions are experimentally shown to have substantial practical merit, and the new model named PFENet++ significantly outperforms the baseline PFENet as well as all other competitors on three challenging benchmarks PASCAL-5$^i$, COCO-20$^i$ and FSS-1000. The new state-of-the-art performance is achieved without compromising the efficiency, manifesting the potential for being a new strong baseline in few-shot semantic segmentation. Our code will be available at https://github.com/luoxiaoliu/PFENet2Plus.

研究の動機と目的

• 従来のプリオリマスク生成が高レベルの文脈的手がかりを十分に活用していないという制限を解消すること。
• プリオリマスク計算中に生じるノイズの多い特徴応答がマスク品質と一般化性能を低下させることの悪影響を軽減すること。
• 未学習のカテゴリ、特に ImageNet に存在しないカテゴリに対しても、プリオリマスクの一般化性能を向上させること。
• 既存の少々ショットセグメンテーションフレームワークに簡単に統合可能な、モデルに依存しないプリオリマスク生成メカニズムを開発すること。

提案手法

• 高レベル特徴からのより豊かな空間的文脈情報を捉えるために、要素同士の相関を領域相関モデリングに置き換えるコンテキスト対応型プリオリマスク（CAPM）を提案する。
• クエリとサポート特徴間の相関分布を分析することで、不要またはノイズの多い応答を抑制する、軽量なノイズ抑制モジュール（NSM）を導入する。
• 個々の特徴要素ではなく、領域特徴パッチを用いて相関を計算することで、ロバストネスと局在精度を向上させる。
• CAPM と NSM をパラメータフリーな方法で適用し、さまざまなエンコーダ・デコーダフレームワークと互換性を持つようにする。
• 洗練されたプリオリマスクをデコーダの追加入力として統合し、メインネットワークアーキテクチャを変更せずに特徴の最適化をガイドする。
• シンプルだが効果的なパイプラインを採用：バックボーンを用いて特徴を抽出し、領域相関で CAPM を計算し、NSM を適用してノイズをフィルタリングし、最終的なプリオリマスクを中間レベルの特徴と連結してセグメンテーションを実行する。

実験結果

リサーチクエスチョン

• RQ1 高レベル特徴における領域的空間的文脈をモデリングすることで、少数ショットセマンティックセグメンテーションにおけるプリオリマスク品質とセグメンテーション性能が向上するか？
• RQ2 学習可能ではあるが軽量なモジュールを用いて、サポート特徴からのノイズの多い応答をフィルタリングすることで、未学習のカテゴリへの一般化性能が向上するか？
• RQ3 提案された CAPM と NSM は、元の PFENet アーキテクチャを超えて、さまざまな少々ショットセグメンテーションフレームワークへ効果的に転送可能か？
• RQ4 ImageNet に存在しない完全に未学習のクラスにおいて、プリオリマスク生成手法の性能はどのようにスケーリングするか？
• RQ5 ImageNet とは完全にオーバーラップのない 1,000 個のクラスを含む FSS-1000 のような困難なベンチマークにおいて、提案手法はどの程度性能を向上させるか？

主な発見

• ImageNet に存在しない 420 個の未学習クラスを含む FSS-1000 ベンチマークにおいて、PFENet++ は 1 ショットで 83.6% の mIoU、5 ショットで 84.8% を達成し、ベースラインの PFENet（80.8% と 81.4%）および元のプリオリマスク手法（80.8% と 81.4%）を顕著に上回った。
• PASCAL-5i において、提案手法は「person」クラスで 48.56% の mIoU を達成した—これは元の PFENet の 15.81% より顕著に向上しており、未学習カテゴリへの強力な一般化性能を示している。
• SCL および ASGNet に適用した場合、提案された CAPM と NSM は 1 ショットで 3.1–3.3%、5 ショットで 2.7–3.2% の性能向上をもたらし、異なるフレームワーク間での一般化性能を確認した。
• アブレーションスタディの結果、CAPM と NSM の両方が性能向上に顕著な貢献をしていることが確認され、特に NSM がノイズの多い応答を低減する点で顕著な有効性を示した。
• この手法は高い効率性を維持しており、既存の少々ショットセグメンテーションモデルにプラグインモジュールとして容易に統合可能であり、強力な実用的価値を示している。