[論文レビュー] Rectifying the Shortcut Learning of Background: Shared Object Concentration for Few-Shot Image Recognition.

Xu Luo, Longhui Wei+5 more|arXiv (Cornell University)|Jul 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 32被引用数 4

ひとこと要約

本稿では、画像の背景からのショートカット学習を軽減するため、複数の画像間で共有されるフォアグラウンドオブジェクトを特定・注目することで、COSOCと呼ばれる few-shot 学習フレームワークを提案する。事前学習段階では対照的特徴クラスタリングと融合サンプリング戦略を用い、推論段階ではフォアグラウンドに敏感な特徴マッチングを実行することで、背景バイアスを抑制し、few-shot 画像認識ベンチマークで最先端の性能を達成する。

ABSTRACT

Few-Shot image classification aims to utilize pretrained knowledge learned from a large-scale dataset to tackle a series of downstream classification tasks. Typically, each task involves only few training examples from brand-new categories. This requires the pretraining models to focus on well-generalizable knowledge, but ignore domain-specific information. In this paper, we observe that image background serves as a source of domain-specific knowledge, which is a shortcut for models to learn in the source dataset, but is harmful when adapting to brand-new classes. To prevent the model from learning this shortcut knowledge, we propose COSOC, a novel Few-Shot Learning framework, to automatically figure out foreground objects at both pretraining and evaluation stage. COSOC is a two-stage algorithm motivated by the observation that foreground objects from different images within the same class share more similar patterns than backgrounds. At the pretraining stage, for each class, we cluster contrastive-pretrained features of randomly cropped image patches, such that crops containing only foreground objects can be identified by a single cluster. We then force the pretraining model to focus on found foreground objects by a fusion sampling strategy; at the evaluation stage, among images in each training class of any few-shot task, we seek for shared contents and filter out background. The recognized foreground objects of each class are used to match foreground of testing images. Extensive experiments tailored to inductive FSL tasks on two benchmarks demonstrate the state-of-the-art performance of our method.

研究の動機と目的

• 事前学習段階で画像の背景から誤った相関関係を学習するモデルの問題に対処することにより、新しい few-shot クラスへの一般化性能が損なわれることを防ぐ。
• 同じクラスに属する画像間で共有されるフォアグラウンドオブジェクトを特定・注目することで、ドメイン固有の背景特徴への依存を低減すること。
• 事前学習および推論の両段階で動作する二段階フレームワークを開発し、背景優勢な画像パッチを検出・フィルタリングすること。
• モデルが背景条件付きのパターンではなく、より汎用性の高いオブジェクト中心の表現を学ぶようにすることで、few-shot 一般化性能を向上させること。

提案手法

• 事前学習段階では、画像パッチのランダムクロップが対照的事前学習バックボーンを用いて埋め込まれ、それらの特徴がクラスタリングされ、フォアグラウンドオブジェクトに対応する支配的クラスタが特定される。
• 識別されたフォアグラウンドクラスタからのサンプルを優先するための融合サンプリング戦略が適用され、モデルがオブジェクト中心の特徴に注目するよう促される。
• 推論段階では、各 few-shot サポートセットに対して、特徴クラスタリングを用いて画像間の共通コンテンツを検出し、フォアグラウンド領域を分離する。
• サポート画像からのフォアグラウンド特徴がクエリ画像の特徴と照合され、背景に依存しない信号がフィルタリングされる。
• 自己教師付き対照的学習を用いてクラスタリングの前に判別性の高い特徴を抽出することで、アノテーションが不要な状態で堅牢なオブジェクト検出が可能になる。
• 弱教師ありの方法として動作し、バウンディングボックスやセグメンテーションマスクを一切必要としないため、スケーラブルであり、現実の few-shot タスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 人為的アノテーションなしで、同じクラスの画像間でフォアグラウンドオブジェクトのパターンを信頼性高く同定できるか？
• RQ2 事前学習段階で背景特徴を抑制することで、few-shot 一般化性能が向上するか？
• RQ3 二段階アプローチ（事前学習時にクラスタリング、推論時にフォアグラウンドマッチング）は、標準的な few-shot 学習手法を上回るか？
• RQ4 融合サンプリング戦略は、事前学習段階でモデルがフォアグラウンドオブジェクトに注目するのをどの程度効果的に促すか？
• RQ5 共有オブジェクトの集中は、背景アーチファクトからのショートカット学習をどの程度低減するか？

主な発見

• COSOC は、2つの標準的な few-shot 画像認識ベンチマークで最先端の性能を達成し、既存手法を上回る。
• 同じクラスの画像間で共有されるフォアグラウンドパターンを特定・強調することで、モデルが背景特徴に依存する割合を顕著に低減する。
• 事前学習段階での融合サンプリング戦略により、ゼロショット一般化および微調整精度の向上が裏付けられ、より堅牢な特徴学習が実現される。
• 推論段階でのフォアグラウンドクラスタリングは、背景ノイズを効果的にフィルタリングし、クエリ画像のマッチング精度を向上させる。
• 追加のアノテーションやアーキテクチャの変更なしに、多様な few-shot タスクに良好に一般化する。
• アブレーションスタディにより、フォアグラウンドクラスタリングによる背景抑制が、モデルの性能向上の鍵要因であることが確認された。