[論文レビュー] Rectifying the Shortcut Learning of Background for Few-Shot Learning

Xu Luo, Longhui Wei+5 more|arXiv (Cornell University)|Jul 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 69被引用数 45

ひとこと要約

本論文は画像の背景をfew-shot学習における有害なショートカット知識として特定し、前景に焦点を当てたフレームワーク COSOC を提案する。これはコントラスト学習とクラスタリングを用いて学習と評価のための前景を抽出し、few-shot の性能を改善する。

ABSTRACT

The category gap between training and evaluation has been characterised as one of the main obstacles to the success of Few-Shot Learning (FSL). In this paper, we for the first time empirically identify image background, common in realistic images, as a shortcut knowledge helpful for in-class classification but ungeneralizable beyond training categories in FSL. A novel framework, COSOC, is designed to tackle this problem by extracting foreground objects in images at both training and evaluation without any extra supervision. Extensive experiments carried on inductive FSL tasks demonstrate the effectiveness of our approaches.

研究の動機と目的

• 画像の背景がfew-shot学習におけるショートカット知識として機能するか、学習用カテゴリと評価カテゴリ全体で一般化にどのような影響を与えるかを特定する。
• 追加の監視なしにモデルの注意を前景オブジェクトに集中させるトレーニング・評価フレームワーク（COSOC）を提案する。
• 標準の FSL ベンチマーク（mini ImageNetとtiered ImageNet）で前景焦点戦略の有効性を示す。
• 前景ベースのトレーニング/評価をサリエンシーのベースラインと比較し、前景識別におけるコントラスト学習の役割を分析する。

提案手法

• COS: コントラスト学習前処理の後、ランダムなパッチを切り抜き、クラスごとに特徴をクラスタリングし、代表的な前景パッチを選択し、トレーニング時の融合サンプリングのために前景スコアを割り当てる、クラスタリングベースのオブジェクト探索者。
• SOC: サポートセット内で画像間の共有内容を見つけてクラス表現を形成し、評価時に前景パッチへのパッチレベル特徴マッチングを行う、共有オブジェクト集中器。
• Fusion sampling: 背景の削減と複雑なシーンへの適応性のバランスを取るため、元の画像と前景クロップの混合でトレーニングする。
• 前景抽出はコントラスト学習（Exemplar）を用いて、境界ボックスなしで前景オブジェクトに属すると推定されるパッチを識別する。
• 評価はクロップ間の反復的な特徴マッチングを用いて前景コンテンツに集中し、クラススコアをパッチ類似度の加重和として計算する。
• サリエンシーベースラインとの比較は、COSOC の前景焦点が一般的な顕著性よりも共有クラス内容により推進されることを示す。

実験結果

リサーチクエスチョン

• RQ1 画像の背景は few-shot 学習における有害なショートカットとして機能するか、前景と背景の違いがトレーニングと評価の性能にどう影響するか？
• RQ2 前景に焦点を当てたフレームワーク（COSOC）は追加の監視なしに few-shot の一般化を改善できるか、サリエンシーベースの前景抽出とどう比較されるか？
• RQ3 前景識別とその後の FSL 性能におけるコントラスト学習の役割は何か？
• RQ4 前景と元画像の融合サンプリングは、複雑なシーンへの頑健性と背景ショートカット緩和のトレードオフにどう影響するか？
• RQ5 SOC ベースの評価は、評価時にグラウンドトゥルース前景を使用して設定された上限値にどれだけ近づくことができるか？

主な発見

• 背景はFSLにとって有害なショートカットとなり、トレーニング時に背景情報を含むと評価性能が低下する。
• 評価時に背景を取り除くと、モデルとデータセット全体で性能が大幅に向上する。前景のみデータでのトレーニングは新しいクラスへの一般化を一般的に改善する。
• 訓練時の前景と元画像の融合サンプリングはバランスを提供し、元画像と前景のみの評価の両方で競争力のある結果を達成する。
• COS はコントラスト学習による前景識別性を向上させ、SOC は画像間で共有される情報を活用して評価時に前景へ集中し、上限性能に近づく。
• COSOC ベースの手法は、mini ImageNet および tiered ImageNet の1-shotおよび5-shot設定でサリエンシーベースの前景抽出子を上回る。
• SOC コンポーネントは利益最大化のために不可欠であり、COS のみを SOC なしで用いると改善は弱い。