[論文レビュー] Alleviating the Sample Selection Bias in Few-shot Learning by Removing Projection to the Centroid

Jing Xu, Xu Luo+4 more|arXiv (Cornell University)|Oct 30, 2022

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

本稿では、少数ショット学習におけるサンプル選択バイアスを軽減するために、タスクの重心方向への射影を除去するシンプルな特徴変換であるタスク重心射影除去（TCPR）を提案する。類似するベース特徴を用いてタスク重心を推定し、この成分を射影することで、TCPRはモデルのロバスト性と正確性を向上させ、特に低ショット設定において、10の多様なデータセットで一貫した最大3.87%の正確性向上を達成する。

ABSTRACT

Few-shot learning (FSL) targets at generalization of vision models towards unseen tasks without sufficient annotations. Despite the emergence of a number of few-shot learning methods, the sample selection bias problem, i.e., the sensitivity to the limited amount of support data, has not been well understood. In this paper, we find that this problem usually occurs when the positions of support samples are in the vicinity of task centroid -- the mean of all class centroids in the task. This motivates us to propose an extremely simple feature transformation to alleviate this problem, dubbed Task Centroid Projection Removing (TCPR). TCPR is applied directly to all image features in a given task, aiming at removing the dimension of features along the direction of the task centroid. While the exact task centroid cannot be accurately obtained from limited data, we estimate it using base features that are each similar to one of the support features. Our method effectively prevents features from being too close to the task centroid. Extensive experiments over ten datasets from different domains show that TCPR can reliably improve classification accuracy across various feature extractors, training algorithms and datasets. The code has been made available at https://github.com/KikimorMay/FSL-TCBR.

研究の動機と目的

• サポートサンプルがタスク重心に近い場合に、少数ショット学習で性能の不安定さが生じる根本的原因を特定すること。
• サポートデータが代表的でない、またはすべてのクラスの共通パターンに近い場合に生じるサンプル選択バイアス問題を解決すること。
• バックボーンネットワークや学習手順を変更せずに、汎用的かつ軽量な特徴変換を提案すること。
• タスク重心方向に捉えられる共通で曖昧なパターンの影響を除去することで、少数ショット一般化を向上させること。

提案手法

• 各サポート特徴に対して、最も類似する上位-k個のベースサンプルを用いてタスク重心方向を推定することで、限られたサポートデータでも近似が可能になる。
• 各画像特徴が推定されたタスク重心ベクトルに射影される成分を除去する線形変換を適用し、効果的に共通成分を削除する。
• 変換はタスク内のすべての特徴に一様に適用されるため、使用される特定の特徴抽出器や学習手法に依存しない。
• タスク重心の近似は、ベース特徴が新しい特徴の方向に近い場合に強く相関しており、情報が多くあるという仮定に基づく。
• 計算が効率的であり、最小限の変更でいかなる少数ショット学習パイプラインにも統合可能である。
• ベースデータと新しいデータの間の特徴類似度を活用することで、データが少ない状況でもタスク重心の推定が安定する。

実験結果

リサーチクエスチョン

• RQ1 なぜサポートサンプルがタスク重心に近いと、少数ショット分類の性能が著しく変動するのか？
• RQ2 タスク重心方向が少数ショット学習におけるサンプル選択バイアスにどのように寄与するのか？
• RQ3 タスク重心方向への射影を除去することで、分類のロバスト性と正確性が向上するか？
• RQ4 サポートデータが乏しい場合に、タスク重心を最適に推定する方法は何か？
• RQ5 提案された変換は、多様なデータセットや特徴抽出器に一般化可能か？

主な発見

• サポートサンプルがタスク重心に近いと分類正確性が著しく低下し、分散が増加する。これはサンプル選択バイアスの存在を確認するものである。
• 1ショット設定において、TCPRは最大3.87%の正確性向上を達成し、10の多様なデータセットで一貫した向上を示した。
• 複数の特徴抽出器を用いた複数の実験で、1ショット5ウェイタスクでは平均4.4%の向上、10ウェイ5ショットタスクでは1.5%の向上を達成した。
• アブレーションスタディの結果、最適なベース近傍数$k$はドメインの類似度に依存し、ベース分布に近いデータセットではより大きな$k$が必要であることが判明した。
• Grad-CAMの可視化により、TCPRがモデルの注目を共有背景パターンからオブジェクトレベルの特徴へと再配分することが確認された。
• ベースと新しいデータセットのドメインが著しく異なる場合でも、本手法は有効であり、ドメインシフトに対して強いロバスト性を示した。