[論文レビュー] On Uniform Convergence and Low-Norm Interpolation Learning

Lijia Zhou, Danica J. Sutherland+1 more|arXiv (Cornell University)|Jun 10, 2020

Machine Learning and Algorithms参考文献 32被引用数 6

ひとこと要約

この論文は、高次元線形回帰における低ノルム補間予測子の一般化を、一様収束の議論が説明できるかを調査する。標準的なノルム球上の一体収束は一貫性を説明できないが、本稿ではノルム球内でのゼロ誤差予測子の一体収束という洗練された概念を導入し、強い双対性と漸近的解析を用いて一般化誤差をうまく境界づけ、最小ノルム補間子の一貫性を説明することに成功している。

ABSTRACT

We consider an underdetermined noisy linear regression model where the minimum-norm interpolating predictor is known to be consistent, and ask: can uniform convergence in a norm ball, or at least (following Nagarajan and Kolter) the subset of a norm ball that the algorithm selects on a typical input set, explain this success? We show that uniformly bounding the difference between empirical and population errors cannot show any learning in the norm ball, and cannot show consistency for any set, even one depending on the exact algorithm and distribution. But we argue we can explain the consistency of the minimal-norm interpolator with a slightly weaker, yet standard, notion: uniform convergence of zero-error predictors in a norm ball. We use this to bound the generalization error of low- (but not minimal-) norm interpolating predictors.

研究の動機と目的

• 過パラメータ化線形回帰における最小ノルム補間子の一貫性を、ノルム球上の一体収束が説明できるかどうかを明らかにすること。
• 高次元設定における補間学習を説明するにあたり、標準的な一体収束議論の限界を評価すること。
• 補間領域における一般化を説明するために、弱いが効果的な一体収束の概念—ノルム球内でのゼロ誤差予測子の一体収束—を提案・分析すること。
• 強い双対性とランダム行列理論を用いて、低ノルム補間予測子の漸近的最悪一般化ギャップを特徴付けること。

提案手法

• 真の信号が特徴量の部分集合にのみ依存する、i.i.d. ガウス共変数と独立なノイズをもつ高次元線形回帰モデルを分析する。
• 最小ノルム補間子（リッジレス回帰）を検討し、次元とノイズの特定の漸近的スケーリング下での一貫性を確立する。
• ノルム球内のすべての予測子ではなく、ノルム球内での経験的誤差がゼロの予測子に焦点を当てた、新規な一体収束フレームワークを導入する。
• 最悪一般化ギャップを特徴付ける非凸最適化問題を解析するために、強い双対性を用いる。
• ランダム行列理論と漸近的解析を適用し、標本サイズと不要特徴量の数の共同極限における期待一般化誤差の極限を導出する。
• ノルム球全体における一体収束は失敗するが、ノルム球内でのゼロ誤差予測子における一体収束は成立し、一貫性を説明できることを示す。

実験結果

リサーチクエスチョン

• RQ1 ノルム球上の標準的一体収束は、高次元線形回帰における最小ノルム補間子の一般化を説明できるか？
• RQ2 予測子が一貫しているにもかかわらず、なぜ既存の一体収束議論は補間学習の一貫性を説明できないのか？
• RQ3 低ノルム補間予測子の一般化をうまく説明できる、より弱い一体収束概念は存在するか？
• RQ4 この設定における与えられたノルムの補間予測子の漸近的最悪一般化ギャップは何か？
• RQ5 強い双対性を用いて、非凸最適化枠組みで低ノルム補間子の一般化誤差を特徴づけられるか？

主な発見

• 標準的なノルム球全体における一体収束は、最小ノルム補間子の学習や一貫性を説明できない。これは、アルゴリズム的および分布的依存性が存在する場合でさえ同様である。
• ノルム球内でのゼロ誤差予測子における一体収束は、最小ノルム補間子の一貫性を説明するのに十分であり、洗練された理論的枠組みを提供する。
• 強い双対性を用いて、低ノルム補間子の漸近的最悪一般化ギャップを正確に特徴づけた。これにより、一般化には低ノルムと補間の両方が必要であることが示された。
• 最小ノルム補間子の期待一般化誤差は、標本サイズと不要特徴量の数の共同極限においてベイズリスクに収束し、一貫性が確認された。
• 最小ノルム補間子のノルムがα倍以下の予測子について、最悪一般化誤差はα²倍のベイズリスクに収束し、タイトな境界が確立された。