[論文レビュー] A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of Overparameterized Machine Learning

Yehuda Dar, V. Sai Muthukumar+1 more|arXiv (Cornell University)|Sep 6, 2021

Neural Networks and Applications被引用数 23

ひとこと要約

この論文は、過パラメータ化機械学習（TOPML）の新しい理論について包括的な概説を提供しており、ノイズが混入した訓練データを完全に適合させるにもかかわらず一般化性能が良いという、補間モデルのなぜうまくいくのかを説明している。これは古典的なバイアス・バリアンスのトレードオフに挑戦する。本論文では、二重降下現象を導入し、一般化を統計的信号処理の観点から再定式化することで、パラメータ数を超える新たな複雑さの尺度の必要性を強調している。

ABSTRACT

The rapid recent progress in machine learning (ML) has raised a number of scientific questions that challenge the longstanding dogma of the field. One of the most important riddles is the good empirical generalization of overparameterized models. Overparameterized models are excessively complex with respect to the size of the training dataset, which results in them perfectly fitting (i.e., interpolating) the training data, which is usually noisy. Such interpolation of noisy data is traditionally associated with detrimental overfitting, and yet a wide range of interpolating models -- from simple linear models to deep neural networks -- have recently been observed to generalize extremely well on fresh test data. Indeed, the recently discovered double descent phenomenon has revealed that highly overparameterized models often improve over the best underparameterized model in test performance. Understanding learning in this overparameterized regime requires new theory and foundational empirical studies, even for the simplest case of the linear model. The underpinnings of this understanding have been laid in very recent analyses of overparameterized linear regression and related statistical learning tasks, which resulted in precise analytic characterizations of double descent. This paper provides a succinct overview of this emerging theory of overparameterized ML (henceforth abbreviated as TOPML) that explains these recent findings through a statistical signal processing perspective. We emphasize the unique aspects that define the TOPML research area as a subfield of modern ML theory and outline interesting open questions that remain.

研究の動機と目的

• ノイズが混入した訓練データを完全に適合させる過パラメータ化モデルが、なぜ良好な一般化性能を示すのかというパラドックスを説明すること。
• 二重降下現象を導入することで、古典的な機械学習理論を再構築し、従来のバイアス・バリアンスのトレードオフに代わるものとすること。
• 過パラメータ化領域における古典的なモデルの複雑さの尺度（例：パラメータ数、ラデマッハ複雑度）の限界を特定し、分析すること。
• 学習済みモデルの複雑さの定義に関する未解決の問いと、それが一般化性能に与える役割を強調すること。
• TOPMLを、現代の深層学習に基礎的な影響を持つ、機械学習理論の独立した分野として位置づけること。

提案手法

• 統計的信号処理フレームワークを用いて、過パラメータ化された線形モデルとカーネル法を分析する。
• 高次元かつ過パラメータ化された設定での一般化を研究するための中心的分析ツールとして、最小ノルム補間解を用いる。
• 信号推定をモデル化し、古典的設定における補間の無関係性を示すために、一様に配置されたグリッドを用いた固定設計設定を採用する。
• モデルの複雑さにわたる一般化誤差を特徴付けるための主要な診断ツールとして、二重降下リスク曲線を導入する。
• 一様収束に基づく古典的な一般化境界が、補間モデルにおける一般化を説明できないことを評価する。
• 過パラメータ化領域における有効なモデル複雑さをよりよく捉えるために、最小記述長（MDL）やアルゴリズム的安定性といった代替の複雑さの尺度を提案する。

実験結果

リサーチクエスチョン

• RQ1 なぜ過パラメータ化されたモデルがノイズが混入した訓練データを補間しても、依然として強力な一般化性能を達成できるのか？
• RQ2 二重降下現象は、過パラメータ化度が高いモデルが、過小パラメータ化されたモデルよりも優れたテスト性能を示すのをどのように説明できるのか？
• RQ3 過パラメータ化領域におけるモデルの複雑さの正しい定義とは何か？なぜパラメータ数だけでは不十分なのか？
• RQ4 一様収束に基づく古典的な一般化境界は、なぜ補間モデルにおける一般化を説明できないのか？
• RQ5 MDLやアルゴリズム的安定性といった代替の複雑さの尺度は、過パラメータ化学習における一般化行動を予測できるか？

主な発見

• 二重降下現象は、補間閾値を超えてもテスト誤差が減少し、最大の過パラメータ化で最適な性能が達成されることを示している。
• ノイズをフィットするにもかかわらず、過パラメータ化モデルにおける補間解は、良好に一般化することがあり、これは古典的な一般化理論に反する。
• パラメータ数やラデマッハ複雑度といった古典的複雑さの尺度は、補間モデルにおける一般化を説明できない。
• カーネル回帰における最小ノルム補間がアルゴリズム的に安定していることが示され、過パラメータ化設定における安定性と一般化の間の関係を示唆している。
• 最小記述長（MDL）原理は、過パラメータ化学習におけるいくつかの行動を説明するデータ駆動型の複雑さの尺度を提供している。
• 学習済みモデルの複雑さの正しい定義は、TOPMLにおける未解決で根本的な課題であり、理論的・実用的意義が大きい。