[論文レビュー] Part-aware Prototype Network for Few-shot Semantic Segmentation

Yongfei Liu, Xiangyi Zhang+2 more|arXiv (Cornell University)|Jul 13, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 26

ひとこと要約

本論文は、包括的クラスプロトタイプを部分に敏感な表現に分解することで、詳細なオブジェクト特徴を捉えることのできる、新しい少数ショットセマンティックセグメンテーションフレームワーク、Part-aware Prototype Network (PPNet) を提案する。グラフニューラルネットワークを用いてラベルなしデータを活用することでプロトタイプを精錬し、PPNet は PASCAL-5i および COCO-20i ベンチマークで最先端の性能を達成し、ワンウェイおよびマルチウェイ設定の両方で、先行手法を大きく上回った。

ABSTRACT

Few-shot semantic segmentation aims to learn to segment new object classes with only a few annotated examples, which has a wide range of real-world applications. Most existing methods either focus on the restrictive setting of one-way few-shot segmentation or suffer from incomplete coverage of object regions. In this paper, we propose a novel few-shot semantic segmentation framework based on the prototype representation. Our key idea is to decompose the holistic class representation into a set of part-aware prototypes, capable of capturing diverse and fine-grained object features. In addition, we propose to leverage unlabeled data to enrich our part-aware prototypes, resulting in better modeling of intra-class variations of semantic objects. We develop a novel graph neural network model to generate and enhance the proposed part-aware prototypes based on labeled and unlabeled images. Extensive experimental evaluations on two benchmarks show that our method outperforms the prior art with a sizable margin.

研究の動機と目的

• 既存の少数ショットセマンティックセグメンテーション手法が包括的プロトタイプと小さなラベル付きサポートセットに依存するという限界を解決すること。
• クラス表現を部分に敏感なプロトタイプに分解することで、空間的カバレッジと特徴の多様性を向上させること。
• ラベルなしデータをプロトタイプ学習プロセスに統合することで、クラス内変動をより効果的にモデル化すること。
• ワンウェイおよびマルチウェイ少数ショットセグメンテーション設定の両方にうまく一般化する統合フレームワークを開発すること。
• グラフニューラルネットワークを用いたプロトタイプ強化により、新しい半教師あり少数ショットセマンティックセグメンテーションパラダイムを提案すること。

提案手法

• 本手法は、埋め込みネットワーク、部分に敏感なプロトタイプ生成ネットワーク、マスク生成ネットワークの3モジュールからなるアーキテクチャを採用する。
• 部分に敏感なプロトタイプは、オブジェクト特徴をクラスタリングし、ラベル付きおよびラベルなしのサポート画像上でグラフアテンションネットワーク（GAT）を用いて精錬することで生成される。
• プロトタイプ生成プロセスは2段階で構成される：(1) 特徴を候補プロトタイプにクラスタリングし、(2) サポートサンプル間のメッセージパッシングを用いてGATで精錬する。
• 複数の部分に敏感なプロトタイプからのスコアマップを統合する新しいマッチング戦略を用いて、最終的なセグメンテーションマスクを予測する。
• オリジナルのセマンティッククラスを活用する拡張損失を用いたメタラーニングにより、モデルを訓練する。
• ラベルなし画像をサポートセットに統合することで、プロトタイプ表現を豊かにし、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 包括的プロトタイプと比較して、部分に敏感なプロトタイプが、詳細なオブジェクト特徴を捉えることで、セグメンテーション精度を向上させることができるか？
• RQ2 ラベルなしデータの統合が、少数ショットセグメンテーションのためのプロトタイプ表現を強化するのにどの程度効果的か？
• RQ3 ラベル付きおよびラベルなしのサポートデータを用いて、グラフニューラルネットワークが部分に敏感なプロトタイプを効果的に精錬できるか？
• RQ4 提案手法は、ワンウェイおよびマルチウェイ少数ショットセグメンテーション設定の両方で、うまく一般化できるか？
• RQ5 最適なハイパーパramータ設定（たとえば、部分数やラベルなしサンプル数）は何か？

主な発見

• COCO-20i ベンチマークにおいて、PPNet は 1-way 1-shot 設定で 36.48% の平均IoUを達成し、前回の最先端手法を大きく上回った。
• COCO-20i の 5-shot 設定では、PPNet は 38.53% の平均IoUを達成し、より高いショット設定への強い一般化性能を示した。
• アブレーションスタディの結果、部分に敏感なプロトタイプ（PAP）を導入することで、すべてのモジュールを含めた場合に平均IoUが 22.95% から 27.16% に向上した。
• セマンティックブランチ（SEM）とラベルなしデータ（UD）の統合は、収束性と最終的な性能を顕著に向上させ、GNNベースの精錬が大きな寄与をした。
• 最適な部分プロトタイプ数は 5 であり、最適なラベルなし画像数は 6 であった。また、セマンティック損失の β = 0.5 が最良の結果をもたらした。
• PPNet は、PASCAL-5i および COCO-20i のすべてのスプリットで最先端の性能を達成し、ワンウェイおよびマルチウェイ少数ショットセグメンテーションの両方において、その有効性を検証した。