[論文レビュー] FGN: Fully Guided Network for Few-Shot Instance Segmentation

Zhibo Fan, Jin-Gang Yu+5 more|arXiv (Cornell University)|Mar 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 10

ひとこと要約

本稿では、少数のラベル付きデータにおけるインスタンスセグメンテーションの課題に応えるための新規フレームワークである完全ガイドドネットワーク（FGN）を提案する。FGNは、マスクR-CNNの異なる部品に、それぞれ別個のガイドメカニズムを導入することで、サポートセットの知識を最大限に活用する。具体的には、注意に基づくRPN（AG-RPN）、関係に基づく検出器（RG-DET）、注意に基づくFCN（AG-FCN）を採用し、COCOおよびVOCベンチマークで最先端の性能を達成した。

ABSTRACT

Few-shot instance segmentation (FSIS) conjoins the few-shot learning paradigm with general instance segmentation, which provides a possible way of tackling instance segmentation in the lack of abundant labeled data for training. This paper presents a Fully Guided Network (FGN) for few-shot instance segmentation. FGN perceives FSIS as a guided model where a so-called support set is encoded and utilized to guide the predictions of a base instance segmentation network (i.e., Mask R-CNN), critical to which is the guidance mechanism. In this view, FGN introduces different guidance mechanisms into the various key components in Mask R-CNN, including Attention-Guided RPN, Relation-Guided Detector, and Attention-Guided FCN, in order to make full use of the guidance effect from the support set and adapt better to the inter-class generalization. Experiments on public datasets demonstrate that our proposed FGN can outperform the state-of-the-art methods.

研究の動機と目的

• 限られたラベル付きデータにおける少数のラベル付きインスタンスセグメンテーションの課題に取り組み、既存手法が新規クラスへの一般化が不十分であるため困難に直面していること。
• 既存手法がマスクR-CNNのすべての部品に一様なガイドメカニズムを適用するという制限を克服すること。
• マスクR-CNNの各主要部品がサポートセットからタスク固有のガイドを受けることで、クラス間一般化を向上させる完全ガイドドフレームワークを設計すること。
• RPN、検出器、マスクヘッドのそれぞれの固有のニーズに適合した、効果的でモジュラーなガイドメカニズムを開発すること。
• 包括的なアブレーションおよび比較研究を通じて、公開の少数のラベル付きインスタンスセグメンテーションベンチマークで優れた性能を示すこと。

提案手法

• クラスに依存する注意機構を用いてサポートセット特徴を符号化し、新規クラスの領域提案生成をガイドする、注意に基づくRPN（AG-RPN）を導入する。
• サポートセット特徴と提案特徴を比較することで、明示的な関係モデリングにより分類およびボックス回帰を向上させる、関係に基づく検出器（RG-DET）を提案する。
• サポートセットから得たチャネルごとの注意ベクトルを用いて特徴マップを再重み付けし、マスク予測を改善する、注意に基づくFCN（AG-FCN）を設計する。
• 推論時にもサポートセットの符号化とガイドを統合するマルチステージトレーニング戦略を採用し、効果的な少数のラベル付き学習を実現する。
• 2段階のマスクR-CNNバックボーンを用い、各段階（RPNおよび検出器）が別個のメカニズムでガイドされることで、サポートセット情報の完全利用を保証する。
• 検出、分類、マスクセグメンテーションの損失を組み合わせた新しい損失関数を実装し、サポートセットの監視のもとでエンドツーエンド最適化する。

実験結果

リサーチクエスチョン

• RQ1 共通のサポートセットを用いて、マスクR-CNNの異なる部品を統合的にガイドできるフレームワークは、少数のラベル付きインスタンスセグメンテーションにおいて有効であるか？
• RQ2 RPN、検出器、マスクヘッドにタスク固有のガイドメカニズムを適用することで、単一のメカニズムによるガイドよりも一般化性能が向上するか？
• RQ3 注意ベースと関係ベースのガイドメカニズムは、提案品質およびマスク予測精度の向上において、どのように比較されるか？
• RQ4 すべての部品にわたる完全なガイドが、少数のラベル付きインスタンスセグメンテーションベンチマークでの性能向上にどの程度寄与するか？
• RQ5 提案されたガイドメカニズムは、さまざまな少数のラベル付き設定（例：3-way-3-shot、5-way-1-shot）およびデータセット（COCO、VOC）に一般化可能か？

主な発見

• FGNは、COCO2VOC少数のラベル付きインスタンスセグメンテーションベンチマークで最先端の性能を達成し、検出およびマスクセグメンテーションのmAPの両面で、先行手法を上回った。
• アブレーションスタディにより、AG-RPN、RG-DET、AG-FCNの各ガイドモジュールが全体の性能に顕著に寄与することが確認され、完全なFGNモデルが最良の結果を示した。
• AG-RPNはベースラインRPNおよび[21]のAG-RPN-v1を上回り、全バージョンの中で最高のAR50スコアを達成した。
• AG-FCNは、[32]のAG-FCN-v1およびAG-FCN-v2（チャネルタイリングおよび連結の変種）を上回り、提案された注意機構の有効性を裏付けた。
• より小さなトレーニングセットを用いたVOC2VOC設定下でも、FGNは最高の全体mAPを達成し、データ不足に対するロバストネスを示した。
• 完全なFGNモデルは、COCO2VOC 3-way-3-shot設定でmAP50を17.9に達成し、次善の手法を著しく上回った。