[論文レビュー] Attentional Prototype Inference for Few-Shot Segmentation

Haoliang Sun, Xiankai Lu+5 more|arXiv (Cornell University)|May 14, 2021

Advanced Neural Network Applications参考文献 57被引用数 4

ひとこと要約

本論文は、不確実性およびクラス内変動を扱うためにオブジェクトプロトタイプを分布としてモデル化する、少数ショット画像セグメンテーションのための確率的潜在変数フレームワーク、Attentional Prototype Inference (API) を提案する。変分ベイesian推論を用いて確率的プロトタイプとアテンションマップを同時に推論することで、API は4つのベンチマークで最先端の性能を達成し、1ショットおよび5ショット設定の両方で既存のプロトタイプベース手法を上回った。

ABSTRACT

This paper aims to address few-shot segmentation. While existing prototype-based methods have achieved considerable success, they suffer from uncertainty and ambiguity caused by limited labeled examples. In this work, we propose attentional prototype inference (API), a probabilistic latent variable framework for few-shot segmentation. We define a global latent variable to represent the prototype of each object category, which we model as a probabilistic distribution. The probabilistic modeling of the prototype enhances the model's generalization ability by handling the inherent uncertainty caused by limited data and intra-class variations of objects. To further enhance the model, we introduce a local latent variable to represent the attention map of each query image, which enables the model to attend to foreground objects while suppressing the background. The optimization of the proposed model is formulated as a variational Bayesian inference problem, which is established by amortized inference networks. We conduct extensive experiments on four benchmarks, where our proposal obtains at least competitive and often better performance than state-of-the-art prototype-based methods. We also provide comprehensive analyses and ablation studies to gain insight into the effectiveness of our method for few-shot segmentation.

研究の動機と目的

• 限られたラベル付きデータによる不確実性、ノイズ、クラス内変動の影響を受けるため、決定的プロトタイプベース手法の限界を解消すること。
• 固定ベクトルではなく確率的分布としてオブジェクトプロトタイプをモデル化することで、不確実性とクラス内多様性を捉え、一般化性能を向上させること。
• アテンションマップを局所的潜在変数として導入し、フォアグラウンドオブジェクトへの注目を強化し、バックグラウンドの干渉を抑制すること。
• エビデンス下界（ELBO）を用いた変分推論問題として最適化を定式化し、プロトタイプとアテンションの同時学習を可能にすること。
• 多様な少数ショットセグメンテーションベンチマークにおいて、広範な実験とアブレーションスタディを通じてフレームワークの有効性を示すこと。

提案手法

• 各オブジェクトカテゴリの確率的プロトタイプを表すグローバルな潜在変数を定義し、不確実性とクラス内変動を捉えるために分布としてモデル化する。
• 各クエリ画像に対して、アテンションマップを表す局所的潜在変数を導入し、フォアグラウンド領域への動的注目を可能にする。
• 後方分布の近似にアンモラライズド推論ネットワークを用いた、変分ベイズ推論問題としての最適化を定式化する。
• 少数ショットセグメンテーションに特化した新しいエビデンス下界（ELBO）を導出することで、プロトタイプとアテンションの後方分布の同時推定を可能にする。
• マルコフ連鎖モンテカルロ（MCMC）サンプリングを用いてセグメンテーション出力を近似し、複数の確率的予測を集約してロバストで完全なセグメンテーションマップを生成する。
• 訓練時には1回のサンプルで勾配降下法を適用し、計算コストと一般化性能のバランスを保ちながら、推論時には5〜15回のサンプルを用いることで精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトプロトタイプを確率的分布としてモデル化することで、少数ショットセグメンテーションにおけるラベルの曖昧さやクラス内変動に対するロバスト性が向上するか？
• RQ2 学習可能なアテンション機構を局所的潜在変数として組み込むことで、フォアグラウンドの局所化とセグメンテーション精度がどのように向上するか？
• RQ3 共同最適化されたELBO目的関数を用いた変分推論により、データが少ない状況下での一般化性能はどの程度向上するか？
• RQ4 確率的プロトタイプとアテンションマップに対するモンテカルロサンプリングは、セグメンテーション品質と推論効率にどのように影響するか？
• RQ5 アブレーションスタディを通じて、各コンポーネント（確率的プロトタイプ、アテンションマップ、変分推論）が全体の性能にどの程度寄与しているか？

主な発見

• API は、Pascal-5i、MS-COCO、FSS-1000、LIDC-IDRI の4つのベンチマークにおいて、最先端のプロトタイプベース手法と比較して、少なくとも同等以上、多くの場合で優れた性能を達成した。
• 医療画像データセット LIDC-IDRI において、本手法は優れた統計的性質を示し、クロスエネルギー距離の結果から、画像固有の曖昧さを忠実に処理していることが示された。
• アブレーションスタディにより、確率的プロトタイプと変分アテンション機構の両方が性能向上に顕著に寄与していることが確認された。
• モンテカルロサンプリングにより、セグメンテーションの完全性とノイズ低減が向上し、15サンプルで性能が飽和するが、実用的には5サンプルで効率的な推論が可能である。
• モデルは多様で現実的なセグメンテーション仮説を生成でき、不確実性を伴う予測を提供することで、臨床意思決定支援に貢献できる可能性がある。
• 推論時間はアテンションの導入によりわずかに増加する（5ショット、M=15の条件下で0.1秒未満）、かつテスト時に最小限のサンプリングで許容できる速度を維持している。