[論文レビュー] Learning Non-target Knowledge for Few-shot Semantic Segmentation

Yuanwei Liu, Nian Liu+4 more|arXiv (Cornell University)|May 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、クエリ画像内の背景（BG）領域および気を散らす対象（DO）領域を明示的にマイニングし、削除することで精度を向上させる、新しい少サンプルセマンティックセグメンテーションフレームワーク、NTRENetを提案する。背景マイニングモジュール（BGMM）と新規のBG損失、BG/DO削除モジュール、およびプロトタイプ対照的学習を導入することで、誤検出を低減し、PASCAL-5iおよびCOCO-20iベンチマークで最先端の性能を達成した。

ABSTRACT

Existing studies in few-shot semantic segmentation only focus on mining the target object information, however, often are hard to tell ambiguous regions, especially in non-target regions, which include background (BG) and Distracting Objects (DOs). To alleviate this problem, we propose a novel framework, namely Non-Target Region Eliminating (NTRE) network, to explicitly mine and eliminate BG and DO regions in the query. First, a BG Mining Module (BGMM) is proposed to extract the BG region via learning a general BG prototype. To this end, we design a BG loss to supervise the learning of BGMM only using the known target object segmentation ground truth. Then, a BG Eliminating Module and a DO Eliminating Module are proposed to successively filter out the BG and DO information from the query feature, based on which we can obtain a BG and DO-free target object segmentation result. Furthermore, we propose a prototypical contrastive learning algorithm to improve the model ability of distinguishing the target object from DOs. Extensive experiments on both PASCAL-5i and COCO-20i datasets show that our approach is effective despite its simplicity.

研究の動機と目的

• 少サンプルセマンティックセグメンテーションにおける高い誤検出率、特に背景および気を散らす対象領域の問題を解決すること。
• 単にターゲット特徴の学習を強化するのではなく、非ターゲット領域の削除に焦点を当てる新しいパラダイムを提案すること。
• BGの正解マスクが不要な状態で一般化されたBGプロトタイプを学習できるBGマイニングモジュール（BGMM）を開発すること。
• クエリ特徴から非ターゲット特徴をフィルタリングするBGおよびDO削除モジュール（BGEM, DOEM）を設計すること。
• ターゲットプロトタイプを陽性サンプル、DOプロトタイプをハードネガティブサンプルとして扱うことで、プロトタイプ対照的学習（PCL）を用いてターゲット対象とDO間の識別性を向上させること。

提案手法

• BGマイニングモジュール（BGMM）は、新規のBG損失を用いて、クエリ画像およびサポート画像から一般化されたBGプロトタイプを学習する。この損失は、ターゲット対象マスクのみを用いて訓練される。
• BG損失は、BGプロトタイプがターゲット対象特徴と明確に異なるように制約を課すことで、BG正解マスクが存在しない状況でもBG領域の予測が可能になる。
• BG削除モジュール（BGEM）は、クエリ特徴を学習済みのBGプロトタイプにマッチングさせることで、クエリ内のBG特徴を抑制する。
• DO削除モジュール（DOEM）は、サポート画像から導出されたDOプロトタイプとクエリ特徴を比較することで、DO領域を特定・削除する。
• プロトタイプ対照的学習（PCL）は、ターゲットプロトタイプを陽性サンプル、DOプロトタイプをハードネガティブサンプルとして扱い、特徴の識別性を向上させる。
• 最終的なセグメンテーションは、洗練されたターゲットプロトタイプとBGおよびDOを除去したクエリ特徴とのマッチングによって生成される。

実験結果

リサーチクエスチョン

• RQ1 非ターゲット領域（BGおよびDO）を明示的にマイニングし、削除することで、少サンプルセマンティックセグメンテーションの性能が向上するか？
• RQ2 BG正解マスクが入手不可な状況でも、一般化されたBGプロトタイプをどのように学習できるか？
• RQ3 BGおよびDO特徴の削除が、誤検出予測の低減に与える影響は何か？
• RQ4 DOプロトタイプは、対照的学習におけるオブジェクト識別にハードネガティブサンプルとしてどれほど有効か？
• RQ5 一般化と表現能力のバランスをとるために、BGプロトタイプの最適なチャネル次元は何か？

主な発見

• NTRENetの完全モデルは、1ショット設定下でPASCAL-5iで平均mIoU 64.2%を達成し、従来の最先端手法を上回った。
• BGEMによるBG領域の削除により、ターゲットプロトタイプのみを用いたベースラインモデルに比べてmIoUが4%向上した。
• DOEMによるDO領域の削除を追加することで、さらにmIoUが2%向上し、誤検出の低減における有効性が裏付けられた。
• PCLモジュールにより、ターゲットとDO間の特徴識別性が向上し、さらにmIoUが1%向上した。
• ベースライン比で精度が3%向上し、BGEM、DOEM、PCLの各モジュールが段階的に誤検出を低減している。
• BGプロトタイプに640チャネルを用いることで、全体の性能が最良となり、一部のフォールドでは512チャネルが最適であった。