[論文レビュー] Prototype Refinement Network for Few-Shot Segmentation

Jinlu Liu, Yongqiang Qin|arXiv (Cornell University)|Feb 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 23

ひとこと要約

本稿では、双方向的プロトタイプ学習、サポートセットにおけるモデル適応、およびパラメータフリーのプロトタイプ統合メカニズムを通じて、プロトタイプの代表性を向上させる、新しい少サンプルセグメンテーション手法であるプロトタイプリファイニングネットワーク（PRNet）を提案する。PRNetは、COCO-20iにおける1ショット設定で、先行手法よりも平均IoUで13.1%の向上を達成し、最先端の性能を実現した。

ABSTRACT

Few-shot segmentation targets to segment new classes with few annotated images provided. It is more challenging than traditional semantic segmentation tasks that segment known classes with abundant annotated images. In this paper, we propose a Prototype Refinement Network (PRNet) to attack the challenge of few-shot segmentation. It firstly learns to bidirectionally extract prototypes from both support and query images of the known classes. Furthermore, to extract representative prototypes of the new classes, we use adaptation and fusion for prototype refinement. The step of adaptation makes the model to learn new concepts which is directly implemented by retraining. Prototype fusion is firstly proposed which fuses support prototypes with query prototypes, incorporating the knowledge from both sides. It is effective in prototype refinement without importing extra learnable parameters. In this way, the prototypes become more discriminative in low-data regimes. Experiments on PASAL-$5^i$ and COCO-$20^i$ demonstrate the superiority of our method. Especially on COCO-$20^i$, PRNet significantly outperforms existing methods by a large margin of 13.1\% in 1-shot setting.

研究の動機と目的

• 新しいクラスに対してわずかなアノテート済みサポート画像しか与えられない状況下で一般化できる少サンプルセマンティックセグメンテーションの課題に対処すること。
• データ不足やクラス内ばらつきの影響により、低データ環境下で偏りが生じやすく代表的でないプロトタイプの限界を克服すること。
• 双方向学習とリファイニングを活用し、サポート画像とクエリ画像からの知識を統合することで、セグメンテーションのためのプロトタイプ品質を向上させること。
• モデルの複雑さを増さずに、判別性を高める効率的でパラメータフリーのリファイニング戦略を開発すること。

提案手法

• 双方向的プロトタイプ学習：トレーニング中に、深層特徴のマスク付き平均プーリングを用いて、サポート画像およびクエリ画像からプロトタイプを抽出する。
• テスト時のモデル適応：未学習のクラスに適応するため、少サンプルのサポート画像上で特徴抽出器を再学習することで、プロトタイプの関連性を向上させる。
• 二段階のプロトタイプ統合：類似度マップを用い、自己適応的閾値αを用いて信頼性の高い領域を選択することで、サポートプロトタイプとクエリ由来プロトタイプを統合する。
• 反復的リファイニング：統合を2回適用する。まず、サポートプロトタイプと初期クエリプロトタイプを統合し、次に、リファインされたクエリプロトタイプと再統合することで、段階的にプロトタイプ品質を向上させる。
• 最近傍プロトタイプマッチング：特徴空間における最近傍プロトタイプに各画素を割り当てることでクエリ画像をセグメンテーションし、最終的な表現としてリファインされたプロトタイプを用いる。
• 自己適応的閾値処理：類似度マップから信頼性の高い領域を動的に選択することで、プロトタイプ抽出および統合をガイドし、耐障害性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 サポート画像およびクエリ画像からの双方向的プロトタイプ学習は、少サンプルセグメンテーションにおけるプロトタイプの代表性を向上させることができるか？
• RQ2 少サンプルのサポートセットにおけるモデル適応は、未学習クラスのためのプロトタイプをリファインするのに効果的か？
• RQ3 パラメータフリーの統合メカニズムは、プロトタイプ品質およびセグメンテーション精度を顕著に向上させることができるか？
• RQ4 提案されたリファイニング戦略は、異なる少サンプル設定（例：1ショット対5ショット）およびデータセット（例：PASCAL-5i 対 COCO-20i）に一般化可能か？
• RQ5 既存の1ウェイ手法に比べ、2ウェイ少サンプルセグメンテーションでも本手法は強力な性能を維持できるか？

主な発見

• PRNetは、COCO-20iにおける1ショット設定で、先行手法よりも平均IoUで13.1%の絶対的向上を達成し、新たな最先端性能を樹立した。
• COCO-20iにおいて、ResNet-101を用いた場合、PRNetは5ショット設定で平均IoU 33.37%を達成し、以前の手法よりも17.4%の向上を示した。
• 提案されたプロトタイプ統合メカニズムは、追加の学習可能なパラメータを一切追加しないまま性能を向上させ、効率性と有効性を示した。
• アブレーションスタディの結果、重みのバランス（ωs=0.5, ωq=0.5）が、平均IoUとバイナリIoUのスコアの間で最適なトレードオフを実現した。
• 2ウェイ少サンプルセグメンテーションでは、PRNetは平均IoU 54.59%を達成し、1ウェイタスクにのみ報告する手法を上回った。これは、より高次元の設定への優れた一般化能力を示している。
• PASCAL-5iおよびCOCO-20iの両データセットにおいて、VGG、ResNet-50、ResNet-101の全バックボーンネットワークおよび全フォールドで、PRNetはベースラインを一貫して上回った。