[論文レビュー] Beyond the Prototype: Divide-and-conquer Proxies for Few-shot Segmentation

Chunbo Lang, Binfei Tu+2 more|arXiv (Cornell University)|Apr 21, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、自己推論とマスク分割を用いて複数のサポートインダクション型プロキシを導出することでメタ推論を向上させる、新しい少サンプルセグメンテーションフレームワークであるDivide-and-Conquer Proxies (DCP)を提案する。従来のプロトタイプに比べてより頑健なガイドランスを提供する。DCPはPASCAL-5iおよびCOCO-20iベンチマークで、プロトタイプベース手法に比べてmIoUを最大10%向上させ、最先端の性能を達成した。

ABSTRACT

Few-shot segmentation, which aims to segment unseen-class objects given only a handful of densely labeled samples, has received widespread attention from the community. Existing approaches typically follow the prototype learning paradigm to perform meta-inference, which fails to fully exploit the underlying information from support image-mask pairs, resulting in various segmentation failures, e.g., incomplete objects, ambiguous boundaries, and distractor activation. To this end, we propose a simple yet versatile framework in the spirit of divide-and-conquer. Specifically, a novel self-reasoning scheme is first implemented on the annotated support image, and then the coarse segmentation mask is divided into multiple regions with different properties. Leveraging effective masked average pooling operations, a series of support-induced proxies are thus derived, each playing a specific role in conquering the above challenges. Moreover, we devise a unique parallel decoder structure that integrates proxies with similar attributes to boost the discrimination power. Our proposed approach, named divide-and-conquer proxies (DCP), allows for the development of appropriate and reliable information as a guide at the "episode" level, not just about the object cues themselves. Extensive experiments on PASCAL-5i and COCO-20i demonstrate the superiority of DCP over conventional prototype-based approaches (up to 5~10% on average), which also establishes a new state-of-the-art. Code is available at github.com/chunbolang/DCP.

研究の動機と目的

• 曖昧な境界や干渉対象物が存在するような複雑なケースで頻繁に失敗するプロトタイプベースの少サンプルセグメンテーションの限界を解消すること。
• 従来の手法が圧縮されたオブジェクト特徴に過度に依存しているのに対し、サポート画像-マスクペアの活用が不十分である問題を是正すること。
• サポート画像から多様で属性固有のプロキシを抽出することで、エピソードレベルでのより頑健で情報量の多いガイドランス機構を構築すること。
• 新規の並列デコーダ構造を用いて類似した意味的役割を持つプロキシを統合することで、セグメンテーションの精度と頑健性を向上させること。

提案手法

• サポート画像に自己推論スキームを適用し、粗いセグメンテーションマスクを生成した。その後、このマスクを性質の異なる複数の領域に分割する。
• 各領域に対してマスク平均プーリングを適用し、前景、背景、境界関連情報など、特定の手がかりを捉えた複数のサポートインダクション型プロキシを導出する。
• 類似した属性（例：前景、背景）を持つプロキシをグループ化し、統合することで識別力を高める、並列デコーダ構造（PDS）を導入する。
• クエリ画像の推論時に、プロキシの活性化マップを動的ガイド信号として活用し、従来のプロトタイプベースのアテンションを置き換えたり補完したりする。
• クエリ特徴とプロキシ活性化マップの融合に、学習可能でパラメータ効率の良い戦略を定式化し、高い速度と低いFLOPsを維持する。
• 予測マスクと正例マスクの整合性を保証するため、クロスエントロピー損失とDice損失を用いてフレームワークをエンドツーエンド最適化する。

実験結果

リサーチクエスチョン

• RQ1 サポート画像-マスクペアのより包括的な活用は、プロトタイプベース手法の限界を超えて少サンプルセグメンテーションの性能を向上させることができるか？
• RQ2 サポートマスクを意味的に異なる領域に分割し、専用のプロキシを導出することで、挑戦的な少サンプルセグメンテーションタスクにおける一般化性能が向上するか？
• RQ3 類似した属性を持つプロキシを並列デコーダ構造で統合することで、識別力が向上し、誤検出が減少するか？
• RQ4 提案されたフレームワークは、高い推論速度と低い計算コストを維持しながら、最先端の性能を達成できるか？

主な発見

• DCPはPASCAL-5i 1ショットベンチマークで60.63%のmIoUを達成し、ベースラインのプロトタイプ手法に比べ1.12ポイント、以前の最先端手法に比べ最大10%の向上を示した。
• 背景関連プロキシ（例：$\mathbf{M}_\gamma$, $\mathbf{M}_\delta$）の導入により、干渉対象物が存在するシーンでも誤検出が顕著に減少した。
• 並列デコーダ構造（PDS）は、単純な連結統合方式に比べ0.49%のmIoU向上を示し、特徴の混同を効果的に管理できることを実証した。
• 活性化マップを用いた提案された統合戦略は、16+ FPSの推論速度を達成し、追加パラメータはたった0.26Mにとどまり、優れた効率性を示した。
• アブレーションスタディの結果、自己推論と領域分割から得たプロキシは、単一のプロトタイプに比べて境界の曖昧さやクラスの混同に対処する上でより信頼性の高いガイドランスを提供することが確認された。
• 混同行列の分析から、DCPは「犬」と「猫」のような類似したカテゴリ間の意味的混同を、ベースラインモデルに比べ顕著に低減していることがわかった。