[論文レビュー] Understanding Why Generalized Reweighting Does Not Improve Over ERM

Runtian Zhai, Dan Chen+2 more|arXiv (Cornell University)|Jan 28, 2022

Machine Learning and Algorithms被引用数 6

ひとこと要約

この論文は、一般化再重み付け（GRW）手法—重要性重み付けと分布的に頑健な最適化（DRO）を含む—が、過パラメータ化されたモデルにおいて、経験的リスク最小化（ERM）よりも一般化性能を向上させないことを示している。広いニューラルネットワークの理論的分析を通じて、GRWとERMが共有する暗黙的なバイアスのため、両者はほぼ同一のモデルに収束することを示しており、これはGRWが根本的な手法論的変更や新しい損失関数なしには分布的に頑健な一般化を達成できないことを示唆している。

ABSTRACT

Empirical risk minimization (ERM) is known in practice to be non-robust to distributional shift where the training and the test distributions are different. A suite of approaches, such as importance weighting, and variants of distributionally robust optimization (DRO), have been proposed to solve this problem. But a line of recent work has empirically shown that these approaches do not significantly improve over ERM in real applications with distribution shift. The goal of this work is to obtain a comprehensive theoretical understanding of this intriguing phenomenon. We first posit the class of Generalized Reweighting (GRW) algorithms, as a broad category of approaches that iteratively update model parameters based on iterative reweighting of the training samples. We show that when overparameterized models are trained under GRW, the resulting models are close to that obtained by ERM. We also show that adding small regularization which does not greatly affect the empirical training accuracy does not help. Together, our results show that a broad category of what we term GRW approaches are not able to achieve distributionally robust generalization. Our work thus has the following sobering takeaway: to make progress towards distributionally robust generalization, we either have to develop non-GRW approaches, or perhaps devise novel classification/regression loss functions that are adapted to the class of GRW approaches.

研究の動機と目的

• 最近の分布的に頑健な手法（DRO や重要性重み付け）が実際の過パラメータ化モデルではERMを超えない理由を理論的に説明すること。
• 過パラメータ化モデルの文脈におけるこの失敗の根本的原因を同定すること。
• 従来の線形モデルおよび固定重みに限られていた理論的結果を、広いニューラルネットワーク、動的再重み付け、L2正則化設定へと拡張すること。
• Leeら（2019）のNTK証明における重大な欠陥（勾配ノルムスケーリングと初期化に関するもの）を是正すること。

提案手法

• GRWを、訓練中にサンプル重みを動的に調整する反復的再重み付けアルゴリズムの広いクラスとして導入する。
• 広いニューラルネットワークにおける収束を分析するため、ニューラル接線カーネル（NTK）フレームワークを用いてGRWの暗黙的バイアスを解析する。
• 最終層の重みをガウス分布ではなくゼロで初期化することで、NTK定式化を修正し、勾配および重みノルムの進化に対するより鋭い境界を可能にする。
• GRWモデルとその線形化近似との差が、r ∈ (0, 1/2) の場合に O(˜d^{r−1/2}) で有界であることを証明し、以前の O(˜d^{−1/2}) の主張を是正する。
• このフレームワーク下で、GRWの暗黙的バイアスがERMとほぼ同一であることを確立し、一般化性能の向上が著しくないことを示唆する。
• 最初の層の勾配ノルムが有界な活性化ノルムを持つため、Leeら（2019）の欠陥を是正し、より小さい学習率を必要としないことを示す。

実験結果

リサーチクエスチョン

• RQ1 なぜGRWに基づく手法（DRO や重要性重み付け）は、現実の過パラメータ化モデルにおいてERMを超えないのか？
• RQ2 広いニューラルネットワークにおいて、GRW手法はERMとは根本的に異なる暗黙的バイアスを誘発するのか？
• RQ3 動的再重み付けと正則化の下で、GRWの暗黙的バイアスが理論的にERMと同じ解に収束することを示せるか？
• RQ4 NTK領域において、GRWとその線形化近似との一般化ギャップの正しい漸近的境界は何か？
• RQ5 最終層の初期化を変更することで、NTK近似の妥当性とGRWの収束挙動にどのような影響があるか？

主な発見

• GRWとERMは、広いニューラルネットワークにおいてほぼ同一のモデルに収束するため、GRWが顕著に異なる解をもたらさないことが示された。
• GRWの暗黙的バイアスは、実質的にERMと同等であるため、分布的に頑健な一般化性能に改善が見られないことが説明できる。
• GRWとその線形化近似との差の理論的境界は、r ∈ (0, 1/2) の場合に O(˜d^{r−1/2}) であることが示され、以前の O(˜d^{−1/2}) の主張が是正された。
• 最終層をゼロ初期化することでNTK証明の欠陥が是正され、最後の層の重みノルムが低下し、近似境界が厳しくなる。
• 小さな大きさのL2正則化は暗黙的バイアスを変化させないため、GRWがERMと等価であるという状況を打ち破るのには寄与しない。
• 新しい初期化のもとで、カーネル行列は非特異的かつフルランクのままであり、NTKフレームワークの妥当性が保たれる。