[論文レビュー] A New Perspective on Machine Learning: How to do Perfect Supervised Learning

Hui Jiang|arXiv (Cornell University)|Jan 7, 2019

Machine Learning and Algorithms参考文献 22被引用数 4

ひとこと要約

本論文は、物理的実現可能性に基づくバンド制限を組み込んだ新しい理論的枠組みを提案し、すべての実用的学習タスクが十分なデータと十分に複雑なバンド制限モデルがあれば、漸近的に解けることを示している。主な結果は、訓練データサイズが増加するにつれて一般化誤差がゼロに収束することであり、大規模なニューラルネットワークにおける過学習の回避というパラドックスを解消する。

ABSTRACT

In this work, we introduce the concept of bandlimiting into the theory of machine learning because all physical processes are bandlimited by nature, including real-world machine learning tasks. After the bandlimiting constraint is taken into account, our theoretical analysis has shown that all practical machine learning tasks are asymptotically solvable in a perfect sense. Furthermore, the key towards this solvability almost solely relies on two factors: i) a sufficiently large amount of training samples beyond a threshold determined by a difficulty measurement of the underlying task; ii) a sufficiently complex and bandlimited model. Moreover, for some special cases, we have derived new error bounds for perfect learning, which can quantify the difficulty of learning. These generalization bounds are not only asymptotically convergent but also irrelevant to model complexity. Our new results on generalization have provided a new perspective to explain the recent successes of large-scale supervised learning using complex models like neural networks.

研究の動機と目的

• 機械学習における理論と実践のギャップを解消すること、特に高容量であるにもかかわらず大規模なニューラルネットワークがなぜうまく一般化するのかを説明すること。
• 現実の学習タスクにおける物理的制約としてのバンド制限を形式化し、すべての物理的プロセスが本質的にバンド制限されていることを認識すること。
• 教師あり学習が、モデルの複雑さの極限においても、漸近的に完璧になる条件を確立すること。
• モデルの複雑さに依存しない一般化誤差の境界を導出すること。
• 十分なデータスケーリングとバンド制限関数近似の観点から、ディープラーニングの成功を説明すること。

提案手法

• ターゲット関数 $ f(\boldsymbol{x}) $ がバンド制限であると仮定する決定的関数フィッティングの定式化を導入し、物理的実現可能性を反映する。
• 直交多項式基底を用いた多変数テイラー展開を適用し、ターゲット関数と学習済みモデル $ \hat{f}(\boldsymbol{x}) $ を表現する。誤差項は $ \xi_n(\boldsymbol{x}) $ で有界化される。
• 訓練サンプルから構築された多変数バーデモンデ行列を用いてモデル係数を解き、サンプルが $ p(\boldsymbol{x}) $ から独立同分布に抽出される場合、確率1で逆行列が存在することを証明する。
• N \to \infty となる極限で、真の係数と学習済み係数の差が消え、残差誤差 $ \boldsymbol{\xi}_N \to 0 $ となることを示し、$ \hat{f} \to f $ の収束を保証する。
• わずかな周波数外成分 $ \epsilon $ を導入することで、近似的にバンド制限された関数への拡張を実施し、$ B_\epsilon $-バンド制限のもとで収束を維持することを示す。
• N \to \infty の極限で、任意の二つの学習済みモデル $ \hat{f}_1 $ と $ \hat{f}_2 $ が、$ p(\boldsymbol{x}) $ における期待値で $ \|\hat{f}_1 - \hat{f}_2\| \to 0 $ に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 大規模なニューラルネットワークは、理論的には過学習を起こすと予測されるにもかかわらず、なぜ実際にはうまく一般化するのか？
• RQ2 バンド制限という現実的な物理的制約のもとで、教師あり学習が漸近的に完璧に可能になるのか？
• RQ3 完全な学習に必要な最小のデータ量は何か？ そしてそれはタスクの固有の難易度とどのように関係するか？
• RQ4 モデルの複雑さに依存しない一般化誤差の境界をどのように導出できるか？
• RQ5 バンド制限モデルと十分なデータが、真の関数への収束をどの程度保証するのか？

主な発見

• ターゲット関数とモデルがバンド制限であり、十分な訓練データが利用可能な場合、すべての実用的機械学習タスクは完全な意味で漸近的に解ける。
• N \to \infty のとき、期待一般化誤差 $ R(\hat{f}|\mathcal{D}_N) \to 0 $ となる。誤差境界は $ \frac{(KB^\prime U)^{n+1}H}{(n+1)!} \to 0 $ に減少し、モデルの複雑さに依存しない。
• 必要な訓練サンプル数 $ N $ は $ O((N^{1/K})) $ のスケーリングを示す。ここで $ K $ は入力次元であり、テイラー展開の次数を通じてデータサイズとモデル容量を結びつける。
• 訓練サンプルが独立同分布に従う場合、訓練サンプルから構築された多変数バーデモンデ行列は確率1で逆行列をもつため、極限において一意な解の回復が保証される。
• 近似的にバンド制限された関数に対しては、真のバンド制限 $ B $ を $ \epsilon $-近似バンド制限 $ B_\epsilon $ に置き換えることで、収束結果が維持され、誤差境界が保たれる。
• N \to \infty の極限で、任意の二つの学習済みモデル $ \hat{f}_1 $ と $ \hat{f}_2 $ は、$ p(\boldsymbol{x}) $ における $ L^2 $-ノルムで互いに収束する。これは、漸近的状態においてモデルの等価性を証明する。