Skip to main content
QUICK REVIEW

[論文レビュー] Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations

Polina Kirichenko, Pavel Izmailov|arXiv (Cornell University)|Apr 6, 2022
AI in cancer detectionComputer Science被引用数 31
ひとこと要約

この論文は、最後の層のみを再訓練(Deep Feature Reweighting)し、少数のバランスの取れたデータセットで最先端の頑健性を得られることを示す。複雑な手法に匹敵または上回り、計算コストも低い。

ABSTRACT

Neural network classifiers can largely rely on simple spurious features, such as backgrounds, to make predictions. However, even in these cases, we show that they still often learn core features associated with the desired attributes of the data, contrary to recent findings. Inspired by this insight, we demonstrate that simple last layer retraining can match or outperform state-of-the-art approaches on spurious correlation benchmarks, but with profoundly lower complexity and computational expenses. Moreover, we show that last layer retraining on large ImageNet-trained models can also significantly reduce reliance on background and texture information, improving robustness to covariate shift, after only minutes of training on a single GPU.

研究の動機と目的

  • 偽の相関が学習特徴にどう影響するかを調べ、モデルが偽の手がかりに依存している場合でもコアとなる特徴が持続するかを特定する。
  • Deep Feature Reweighting (DFR)を最後の層の再訓練手法として提案・評価し、最悪グループの精度を向上させる。
  • 偽の相関を伴うベンチマークやImageNet規模の大規模モデルにおいて、DFRの有効性を示す。
  • 背景やテクスチャへの依存を低減するDFRの能力と共変量シフト頑健性への影響を評価する。

提案手法

  • 偽の相関を含むデータで標準的なERMモデルを訓練し、学習された特徴表現を観察する。
  • 潜在特徴を抽出し、偽の特徴が優位であってもコア特徴が存在し、デコード可能であることを示す。
  • コア特徴を強調するために、少量のグループバランス再重み付けデータセットを用いて最終線形層のみを再訓練する(正則化付きロジスティック回帰)。
  • 多様なベンチマーク(Waterbirds, CelebA, MultiNLI, CivilComments)でDFRを評価し、最先端の基準手法(Group DRO, JTT, CnC, SUBG, SSA)と比較する。
  • 大規模ImageNet訓練済みモデルにDFRを適用し、単一GPUで数分の再訓練で背景とテクスチャのバイアスを低減する。

実験結果

リサーチクエスチョン

  • RQ1偽の相関を伴うERMで学習したニューラルネットワークは、表現からデコードできる高品質なコア特徴を依然として符号化しているか。
  • RQ2特徴抽出器を再訓練せずに、最後の層だけを再訓練して特徴を再重み付けするだけで最悪グループの性能を改善できるか。
  • RQ3既存手法と比較して、Deep Feature Reweightingは標準の偽の相関ベンチマークや大規模な視覚言語タスクでどう機能するか。
  • RQ4大規模ImageNetモデルにおける背景依存とテクスチャ対形状のバイアスに対するDFRの影響は何か。

主な発見

  • DFRは最後の層再訓練による特徴の再重み付けで、偽の相関ベンチマークにおいて最先端手法と同等かそれを上回る。
  • 偽の特徴がERM予測を支配している場合でも、潜在表現にはコア特徴が存在しデコード可能である。
  • ImageNet訓練済みモデルにおけるDFRは、数分の再訓練で背景とテクスチャ情報への依存を大幅に低減できる。
  • WaterbirdsとCivilCommentsでは、検証セット再重み付けを用いたDFRがGroup DROおよびSSAと同等のトップ性能を達成する。
  • DFRは最終層にロジスティック回帰のみを要し、より複雑なデバイアス手法への単純でスケーラブルな代替を提供する。

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。