[論文レビュー] On the Generalization Properties of Minimum-norm Solutions for Over-parameterized Neural Network Models.

E Weinan, Chao Ma+1 more|arXiv (Cornell University)|Dec 15, 2019

Neural Networks and Applications参考文献 13被引用数 12

ひとこと要約

この論文は、過パラメータ化されたニューラルネットワークモデル—具体的にはランダムフィーチャー、2層ニューラルネットワーク、リプルサブルネットワークのアーキテクチャ—における最小ノルム解が、十分に過パラメータ化されている場合、一般化誤差が対数要因を除いてモンテカルロレートと同等になることを確立している。この結果は、明示的な正則化を用いずに、最小ノルムのインダクティブバイアスにのみ依存して、強力な一般化性能を達成することを示している。

ABSTRACT

We study the generalization properties of minimum-norm solutions for three over-parametrized machine learning models including the random feature model, the two-layer neural network model and the residual network model. We proved that for all three models, the generalization error for the minimum-norm solution is comparable to the Monte Carlo rate, up to some logarithmic terms, as long as the models are sufficiently over-parametrized.

研究の動機と目的

• 過パラメータ化された機械学習モデルにおける最小ノルム解の一般化行動を理解すること。
• 高い容量を持つにもかかわらず、このような解が望ましい一般化誤差レートを達成するかどうかを分析すること。
• ランダムフィーチャー、2層ニューラルネットワーク、リプルサブルネットワークの3つの主要な過パラメータ化モデルにおける一般化の理論的保証を確立すること。
• 十分な過パラメータ化のもとで、一般化誤差がモンテカルロレートと同等にスケーリングすることを示すこと。

提案手法

• ランダムフィーチャー、2層ニューラルネットワーク、リプルサブルネットワークの3つの過パラメータ化モデルにおける最小ノルム解の一般化誤差を分析すること。
• 統計的学習理論を用いて、モデルの過パラメータ化レベルに基づき一般化誤差をバインドすること。
• パラメータ数の逆数に比例するが、対数要因を除いての誤差バインディングを導出すること。
• 集中不等式とランダム行列理論を用いて、経験的リスクと真のリスクの乖離を制御すること。
• 過パラメータ化された設定における最小ノルム解の暗黙の正則化効果を活用すること。
• 一般化誤差がモンテカルロレートに類似した項で有界であることを確立すること、対数要因を除いて。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたニューラルネットワークにおける最小ノルム解は、モンテカルロレートに類似した一般化誤差を達成するか？
• RQ2 過パラメータ化は、異なるニューラルネットワークアーキテクチャにおいて最小ノルム解の一般化性能にどのように影響するか？
• RQ3 ランダムフィーチャーおよびリプルサブルネットワークの文脈において、最小ノルム解の暗黙の正則化が理論的に正当化可能か？
• RQ4 過パラメータ化モデルにおける一般化誤差がパラメータ数にどのように依存するか？
• RQ5 最小ノルム解の一般化性能は、さまざまな過パラメータ化アーキテクチャにわたって頑健か？

主な発見

• ランダムフィーチャー、2層ニューラルネットワーク、リプルサブルネットワークの3つのモデルすべてにおいて、最小ノルム解の一般化誤差はモンテカルロレートに類似した項で有界である。
• 一般化誤差は、n を訓練サンプル数として、O(1/√n) のオーダーでスケーリングするが、対数要因を除いてのものである。
• このバインディングは、パラメータ数がサンプルサイズを多項式的要因で超える十分な過パラメータ化のもとで成り立つ。
• 明示的な正則化が不要であるため、最小ノルム解が一般化誤差を暗黙的に制御していることを示している。
• 理論的分析により、最小ノルム解が過パラメータ化された設定で近似的に最適な一般化性能を達成することが確認された。
• 誤差バインディングにおける対数要因は、現在の分析フレームワークでは避けられないが、高次元領域では性能を著しく劣化させない。