[論文レビュー] An Investigation of Why Overparameterization Exacerbates Spurious Correlations

Shiori Sagawa, Aditi Raghunathan+2 more|arXiv (Cornell University)|May 9, 2020

Reinforcement Learning in Robotics参考文献 36被引用数 83

ひとこと要約

論文は、訓練誤差がゼロを超えてモデルサイズを大きくすると、偽の相関が存在する場合に最悪グループの性能が悪化することを示し、多数グループを部分サンプルすることこの効果を緩和し得る、時には少数派を重み付けするよりも効果的であることを示す。

ABSTRACT

We study why overparameterization -- increasing model size well beyond the point of zero training error -- can hurt test error on minority groups despite improving average test error when there are spurious correlations in the data. Through simulations and experiments on two image datasets, we identify two key properties of the training data that drive this behavior: the proportions of majority versus minority groups, and the signal-to-noise ratio of the spurious correlations. We then analyze a linear setting and theoretically show how the inductive bias of models towards "memorizing" fewer examples can cause overparameterization to hurt. Our analysis leads to a counterintuitive approach of subsampling the majority group, which empirically achieves low minority error in the overparameterized regime, even though the standard approach of upweighting the minority fails. Overall, our results suggest a tension between using overparameterized models versus using all the training data for achieving low worst-group error.

研究の動機と目的

• 偽相関がある場合における過parameterization が最悪グループ誤差に与える影響を動機づけ、定量化する。
• この効果を調節するデータ特性を特定し、過parameterizedモデルの memorization bias に関する理論的洞察を発展させる。
• 訓練戦略（ERM vs 再重み付け）を平均性能と最悪グループ性能の観点で比較する。

提案手法

• CelebAとWaterbirdsの2つの画像データセットで、幅広いモデルサイズにわたって経験的評価を実施。
• 少数派グループを重み付ける再重み付け経験的リスク最小化を使用。
• コア特徴と偽特徴を制御した合成データ設定とノイズ成分も実装。
• 線形の明示的 memorization 設定を分析して memorization と帰納バイアスを形式化。
• ランダム特徴上での正則化なしロジスティック回帰を用いて過parameterizationの効果を研究。
• CelebAでは幅を、Waterbirdsでは射影数の増加によりモデル容量を変化させる。

実験結果

リサーチクエスチョン

• RQ1 偽相関がある場合において、過パラメータ化はいつどのように最悪グループの性能を低下させるのか？
• RQ2 データ分布特性（多数派/少数派の比、偽特徴とコア情報の比率）はこの効果にどのように影響するか？
• RQ3 代替訓練戦略（例：サブサンプリングまたは重み付け）は過パラメータ化 regimeでの最悪グループ誤差を緩和し得るか？
• RQ4 memorization に基づく失敗を説明する理論的機構は何で、 memorizationを最小化する条件下で頑健性はどう改善されるか？

主な発見

• 過パラメータ化は平均的なテスト誤差を改善する一方、再重み付けの下で最悪グループの誤差を悪化させる（過パラメータ化モデルで訓練誤差ゼロだと最悪グループ誤差が60%を超えることがある）。
• 過パラメータ化でないモデルは最悪グループのテスト誤差を著しく改善できる（例：CelebAで25.6%、Waterbirdsで26.6%）
• 合成データでは最良の最悪グループ誤差は過パラメータ化でないモデルが達成（例：28.5%）、高度に過パラメータ化されたモデルは最悪グループ誤差が約55%の水準で停滞。
• 偽特徴を除去すると過パラメータ化の有害な効果が消え、偽特徴に依存することが失敗の原因であることを示唆。
• 二つのデータ特性が効果を増幅する：多数派の比率 p_maj が高いと偽特徴とコア情報比 r_s:c が高いと過パラメータ化 regime で最悪グループ誤差が増大する；グループが均衡し、r_s:c が低いとこの効果は逆転する。
• 理論的な線形分析は、過パラメータ化モデルにおける最小ノルムの帰納バイアスがノイズ特徴を通じて少数派点を memorization することを好み、最悪グループ誤差を高くすることを示す；過少 parameterization はコア特徴に依存することでこれを回避する。