[論文レビュー] Uncertainty-Aware Semi-Supervised Few Shot Segmentation

Soopil Kim, Philip Chikontwe+1 more|arXiv (Cornell University)|Oct 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 21被引用数 6

ひとこと要約

本論文は、不確実性推定を用いた半教師あり少数ショット分類手法を提案し、未ラベル画像からの疑似ラベルを不確実性推定を用いて精錬することで、プロトタイプベース分類の性能を向上させる。疑似ラベル生成時に高い不確実性を持つ予測をフィルタリングすることで、モデルはより頑健な前景および背景プロトタイプを学習し、追加の学習を必要とせずにPASCAL-5iおよびCOCO-20iベンチマークで最先端の性能を達成する。

ABSTRACT

Few shot segmentation (FSS) aims to learn pixel-level classification of a target object in a query image using only a few annotated support samples. This is challenging as it requires modeling appearance variations of target objects and the diverse visual cues between query and support images with limited information. To address this problem, we propose a semi-supervised FSS strategy that leverages additional prototypes from unlabeled images with uncertainty guided pseudo label refinement. To obtain reliable prototypes from unlabeled images, we meta-train a neural network to jointly predict segmentation and estimate the uncertainty of predictions. We employ the uncertainty estimates to exclude predictions with high degrees of uncertainty for pseudo label construction to obtain additional prototypes based on the refined pseudo labels. During inference, query segmentation is predicted using prototypes from both support and unlabeled images including low-level features of the query images. Our approach is end-to-end and can easily supplement existing approaches without the requirement of additional training to employ unlabeled samples. Extensive experiments on PASCAL-$5^i$ and COCO-$20^i$ demonstrate that our model can effectively remove unreliable predictions to refine pseudo labels and significantly improve upon state-of-the-art performances.

研究の動機と目的

• 少数ショット分類における限られたサポートデータの課題に対処すること。特に、サポート画像とクエリ画像間の外観のばらつきや分布シフトが性能を低下させる要因となること。
• 未ラベル画像を活用して追加の信頼性の高いプロトタイプを生成することで、プロトタイプベースの少数ショット分類の性能を向上させること。
• 半教師ありFSSにおけるノイズが多いまたは過信した疑似ラベルによる性能低下を、疑似ラベル精錬段階で不確実性推定を組み込むことで低減すること。
• 追加の学習やファインチューニングステップを必要とせず、未ラベルデータを統合できるエンドツーエンド学習を可能にすること。

提案手法

• ニューラルネットワークを用いて、出力分布にガウス分布の仮定を置いた上で、各画素のセグメンテーションマスクと不確実性（分散）を同時に予測する。
• 未ラベル画像からの疑似ラベル生成時に、不確実性推定値を用いて高い不確実性を持つ予測をフィルタリングし、高平均・低不確実性の予測のみを保持する。
• 精錬された疑似ラベルを用いて、未ラベル画像から追加の前景および背景プロトタイプを抽出し、プロトタイプ集合を豊かにする。
• 推論段階では、サポートセットのプロトタイプに加え、新たに取得した未ラベルプロトタイプと低レベルのクエリ特徴量を統合して、セグメンテーション精度を向上させる。
• 不確実性推定モジュールをベースとなるFSSモデルにエンドツーエンドで統合し、再トレーニングを必要とせずにプラグアンドプレイで統合可能である。
• 本手法は、クエリ特徴量と疑似ラベルが付与された未ラベル画像を処理して改善されたプロトタイプを生成するリファインメントモジュールRを用いる。

Figure 1: Proposed uncertainty-aware FSS model training strategy. Blue box shows a detail of uncertainty estimation module.

実験結果

リサーチクエスチョン

• RQ1 不確実性推定は、未ラベル画像から生成される疑似ラベルの信頼性を向上させることができるか？
• RQ2 疑似ラベル構築時に高い不確実性を持つ予測をフィルタリングすることは、学習されたプロトタイプの品質およびセグメンテーション性能にどのように影響するか？
• RQ3 不確実性に配慮した精錬を経た未ラベルデータからの追加プロトタイプは、少数ショット分類の性能を顕著に向上させることができるか？
• RQ4 提案手法は、追加の学習を必要とせず、異なるバックボーンやベンチマークに一般化可能か？

主な発見

• ResNet-50を用いたPASCAL-5iでは、1ショットのmIoUが31.1、5ショットのmIoUが41.0を達成し、ベースラインのPPNet*を+2.2%および+2.5%上回った。
• COCO-20iでは、1ショットのmIoUが32.8、5ショットのmIoUが43.9を達成し、特に5ショット設定で新たな最先端の結果を樹立した。
• COCO-20iでは1ショットのバイナリ-IoUが最高を記録し、困難な陽性例において優れた性能を示した。
• 定性的な結果から、不確実性フィルタリングが誤検出（例：脚を前景として誤分類）を抑制し、疑似ラベルの品質向上を示した。
• t-SNE可視化により、未ラベル画像からのプロトタイプが特徴空間でより整合性のとれた表現を提供していることが確認され、意思決定境界の改善が見られた。
• 未ラベル画像の数が増加しても一貫した性能向上を示し、データスケールに対して頑健であることが示された。

Figure 2: Overview of the proposed semi-supervised FSS inference strategy. Blue box shows a detail of refinement module.