[論文レビュー] Prior Guided Feature Enrichment Network for Few-Shot Segmentation

Zhuotao Tian, Hengshuang Zhao+4 more|arXiv (Cornell University)|Aug 4, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 48

ひとこと要約

PFENetは、高レベル特徴からのトレーニング不要の事前マスクと、サポート情報をクエリ特徴に適応的に融合するFeature Enrichment Moduleを導入し、追加のトレーニングコストなしにPASCAL-5iとCOCOで最先端のfew-shotセグメンテーションを達成します。

ABSTRACT

State-of-the-art semantic segmentation methods require sufficient labeled data to achieve good results and hardly work on unseen classes without fine-tuning. Few-shot segmentation is thus proposed to tackle this problem by learning a model that quickly adapts to new classes with a few labeled support samples. Theses frameworks still face the challenge of generalization ability reduction on unseen classes due to inappropriate use of high-level semantic information of training classes and spatial inconsistency between query and support targets. To alleviate these issues, we propose the Prior Guided Feature Enrichment Network (PFENet). It consists of novel designs of (1) a training-free prior mask generation method that not only retains generalization power but also improves model performance and (2) Feature Enrichment Module (FEM) that overcomes spatial inconsistency by adaptively enriching query features with support features and prior masks. Extensive experiments on PASCAL-5$^i$ and COCO prove that the proposed prior generation method and FEM both improve the baseline method significantly. Our PFENet also outperforms state-of-the-art methods by a large margin without efficiency loss. It is surprising that our model even generalizes to cases without labeled support samples. Our code is available at https://github.com/Jia-Research-Lab/PFENet/.

研究の動機と目的

• few-shot segmentationにおいて、ベースクラスで訓練された高レベル特徴に過度に依存することによる一般化の損失に対処する。
• 適応的な特徴強化を通じて、クエリとサポートターゲット間の空間的不一致を緩和する。
• 一般化を損なわずにセグメンテーションを導くため、高レベル特徴を用いたトレーニング不要の事前マスク生成器を開発する。
• スケールを跨いだサポート特徴と事前情報でクエリ特徴を洗練させる、マルチスケールのFeature Enrichment Module (FEM)を提案する。
• 効率的なモデルで標準ベンチマークにおける最先端性能を実証し、アブレーションによって各構成要素を分析する。

提案手法

• ImageNet事前訓練済みの高レベル特徴を用いてピクセル単位の事前マスクYQに変換するトレーニング不要の事前生成を提案し、クエリ特徴とサポート特徴のコサイン類似度の最大値を計算して結果を正規化する。
• FEMを開発する:(i) クエリ、サポート、事前を複数のスケールで統合してソース間の強化を行う; (ii) 上位-downの情報経路を介して細かいスケール情報を粗いスケールへ伝播させることでスケール間相互作用を可能にする; (iii) スケール全体の情報を統合して洗練されたクエリ特徴へ集中させ、学習を誘導する中間監視を行う。
• prior generationとFEMをPFENetアーキテクチャに統合し、サポートとクエリの中間レベル特徴を抽出するためのバックボーンを共有（ImageNet pre-trained）、そして事前情報を生成する高レベル特徴を得る。
• チャンネルを減らすために1x1畳み込みを使用し、FEM入力を作成するためにマルチスケールプーリングを適用し、ピクセル単位の予測を出力する最終分類ヘッドを用いる。
• バックボーンのパラメータを更新せず、FEMスケールからの中間損失と最終損失をバランシング係数で結合したクロスエントロピー損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング不要の高レベル特徴は、Few-shot segmentationにおいて未見クラスへの一般化を改善できるか。
• RQ2 マルチスケールのFeature Enrichment Moduleは、クエリとサポートサンプル間の空間的不一致を効果的に解決するか。
• RQ3 高レベルの事前情報とFEMの相互作用は、標準的なfew-shot segmentationベンチマークでの性能をどう向上させるか。
• RQ4 PFENetは、効率と一般化を維持しつつ、PASCAL-5iとCOCOで既存手法を上回ることができるか。
• RQ5 限られた、あるいはラベル付きサポートサンプルが全くない設定に対して、アプローチは一般化できるか。

主な発見

• PFENetは、効率性を損なうことなくPASCAL-5iおよびCOCOで最先端の結果を達成する。
• トレーニング不要の事前生成は一般化を維持し、高レベル特徴をクラス非依存の形で活用してセグメンテーション精度を向上させる。
• FEMは、従来のマルチスケール構造（PPM、ASPP）よりも優れた利得を提供し、条件付きのスケール間・ソース間相互作用を可能にする。
• PFENetは、学習可能パラメータが少ない状態で高い性能を示す（VGGベースモデルで10.4M、ResNetベースモデルで10.8M程度）。
• このモデルは、ラベル付きサポートサンプルが全く利用できないゼロショット風の状況でも非自明な性能を示し、事前情報と強化アプローチの頑健性を強調する。