[論文レビュー] Correct-N-Contrast: A Contrastive Approach for Improving Robustness to Spurious Correlations

Michael Zhang, Nimit S. Sohoni+3 more|arXiv (Cornell University)|Mar 3, 2022

Machine Learning and Data Classification被引用数 15

ひとこと要約

本稿では、誤った相関関係に対する頑健性を向上させるために、誤った属性やグループラベルを必要としない対照学習手法であるCorrect-n-Contrast (CnC) を提案する。事前学習済みのERMモデルの予測を活用して、同じクラスだが異なる誤った特徴を持つサンプルを特定し、CnCはこれらのサンプルの表現を対照学習によって一致させるとともに、異なるクラスで同じ誤った特徴を持つペアを分離する。これにより、ベンチマークで最先端のworst-group精度を達成し、平均で3.6%の絶対的向上を実現する。

ABSTRACT

Spurious correlations pose a major challenge for robust machine learning. Models trained with empirical risk minimization (ERM) may learn to rely on correlations between class labels and spurious attributes, leading to poor performance on data groups without these correlations. This is particularly challenging to address when spurious attribute labels are unavailable. To improve worst-group performance on spuriously correlated data without training attribute labels, we propose Correct-N-Contrast (CNC), a contrastive approach to directly learn representations robust to spurious correlations. As ERM models can be good spurious attribute predictors, CNC works by (1) using a trained ERM model's outputs to identify samples with the same class but dissimilar spurious features, and (2) training a robust model with contrastive learning to learn similar representations for same-class samples. To support CNC, we introduce new connections between worst-group error and a representation alignment loss that CNC aims to minimize. We empirically observe that worst-group error closely tracks with alignment loss, and prove that the alignment loss over a class helps upper-bound the class's worst-group vs. average error gap. On popular benchmarks, CNC reduces alignment loss drastically, and achieves state-of-the-art worst-group accuracy by 3.6% average absolute lift. CNC is also competitive with oracle methods that require group labels.

研究の動機と目的

• 誤った属性やグループIDのラベルを必要とせずに、機械学習モデルのworst-group一般化性能を向上させること。
• 既存手法がオラクルのグループラベルに依存するか、表現の一致を直接最適化できないという制限を克服すること。
• クラスに特徴的な特徴に依存するのを明示的に促進する対照学習フレームワークを構築すること。
• 表現の一致とworst-group誤差の低減の理論的・実験的関係を提示し、頑健性のための新たな最適化目的関数を提供すること。

提案手法

• 初期のERMモデルを訓練し、クラスラベルを予測する。その出力を用いて、誤った属性パターンを間接的に推定する。
• ERMモデルの予測を用いて、ハードポジティブをサンプリングする：同じクラスだが予測が異なるサンプルを対象とし、表現の一致を促進する。
• ハードネガティブを用いる：異なるクラスで同じERM予測を持つサンプルを対象とし、表現空間におけるクラス間分離を強化する。
• モーメンタムエンコーダを用いた対照学習を適用し、クラス内一致とクラス間分離を同時に最適化する。
• 曖昧なケースや誤った相関関係の強いケースに重点を置いた、新たなサンプリング戦略を導入する。
• 各クラスにおけるworst-group誤差と平均誤差の差の上界を上回る表現一致損失を最小化する。

実験結果

リサーチクエスチョン

• RQ1 表現の一致（同じクラスで異なる誤った特徴を持つサンプルの埋め込み空間内での近接性）を、worst-group誤差の低減の代理指標として用いることができるか？
• RQ2 ERMモデルの予測を用いてハードポジティブおよびハードネガティブを定義する対照学習アプローチは、誤った属性ラベルが入手不可な状況下でも頑健性を向上させることができるか？
• RQ3 一致損失とworst-group一般化性能の関係は何か？ また、これはworst-group誤差と平均誤差の差を上界で制御するために用いることができるか？
• RQ4 CnCは、強い誤った相関関係を有するベンチマークにおいて、既存の自己教師ありおよびグループに依存しない頑健な学習手法を上回るworst-group精度を達成できるか？

主な発見

• CnCは、評価されたすべてのベンチマークで、明確なマージンで一致損失を低減しており、表現の頑健性が向上していることが示された。
• worst-group誤差は一致損失と密接に連動しており、表現の一致と頑健性の間の提案された関係が妥当であることが裏付けられた。
• CnCは、標準ベンチマーク上でのERMおよび最先端のベースラインと比較して、worst-group精度で平均3.6%の絶対的向上を達成した。
• CnCは、グループラベルを必要とするオラクル手法を複数の設定で上回り、誤った属性の教師なしでも効果的であることが示された。
• UMAPの可視化結果から、CnCの表現は誤った属性に依存せず、クラスラベルにのみ依存していることが確認された。これは、ERMやJttとは対照的である。
• GradCAMの可視化結果から、CnCモデルは主にクラスに特徴的な特徴（例：鳥の体、髪）に注目している一方、ERMモデルは誤った背景や属性に注目していることが確認された。