[論文レビュー] Towards a Mathematical Understanding of Neural Network-Based Machine Learning: what we know and what we don't

E Weinan, Chao Ma+2 more|arXiv (Cornell University)|Sep 22, 2020

Neural Networks and Applications参考文献 85被引用数 50

ひとこと要約

本論文は、近似、汎化、損失ランドスケープ、訓練ダイナミクスに焦点を当て、過剰パラメータ化と暗黙の正則化を強調しつつ、ニューラルネットワークベースの学習に関する現在の数学的理解を概観します。

ABSTRACT

The purpose of this article is to review the achievements made in the last few years towards the understanding of the reasons behind the success and subtleties of neural network-based machine learning. In the tradition of good old applied mathematics, we will not only give attention to rigorous mathematical results, but also the insight we have gained from careful numerical experiments as well as the analysis of simplified models. Along the way, we also list the open problems which we believe to be the most important topics for further study. This is not a complete overview over this quickly moving field, but we hope to provide a perspective which may be helpful especially to new researchers in the area.

研究の動機と目的

• ニューラルネットワークベースの学習の成功と脆弱性の理由を説明する。
• 近似と汎化を支配する関数空間とノルムを特定し、形式化する。
• 訓練における損失ランドスケープ、最適化ダイナミクス、暗黙の正則化を検討する。
• 数値解析の観点からの主要な結果を概説し、重大な未解決問題を強調する。

提案手法

• 高次元関数近似の普遍近似結果とその定量的制約をレビューする（例：Barron-type結果）。
• ランダム特徴モデルと関連する RKHS を自然な仮説空間として紹介・分析する。
• Barron空間と直接/逆近似定理を通じて二層ニューラルネットワーク理論を展開する。
• 深さ関連の関数空間と深さ分離の概念を用いて、残差ネットワークや多層ネットワークを議論する。
• 高次元類推と平均場/勾配ダイナミクスの結果を用いて損失ランドスケープを検討する。
• Rademacher複雑さに基づく汎化境界と、それらが学習可能性および推定誤差に与える影響を提示する。

実験結果

リサーチクエスチョン

• RQ1 近似と汎化を支配する、一般的なニューラルネットワークアーキテクチャ（例：二層ネットワーク）に関連する自然な関数空間は何か。
• RQ2 高次元でしばしば過剰パラメータ化された設定において、近似誤差と推定誤差はどのようにトレードオフするか。
• RQ3 損失ランドスケープと訓練ダイナミクスが、良い汎化を持つ解の選択にどのような役割を果たすか。
• RQ4 最適化ダイナミクスからの暗黙の正則化は、頑健な汎化を達成するために明示的な正則化に取って代わるか。
• RQ5 数値解析の直感と実用的な深層学習モデルを結びつける際の制限と未解決の課題は何か。

主な発見

• ランダム特徴モデルでは、直接近似誤差は 1/m と減衰し、Barronノルムがその速度を支配する。
• 二層ネットワークは Barron関数を近似でき、L2誤差は order 1/sqrt(m)、L∞誤差は次元に依存した速度である。
• Barron空間は二層ネットワークにとって自然な関数空間を提供し、Barronノルムは近似と汎化の双方を結び付ける。
• Rademacher複雑さの境界は、理想的な設定で generalization gaps が ||f*||_*^2/m + ||f*||_* / sqrt(n) のオーダーを示し、モデルサイズとデータのトレードオフを明らかにする。
• 過剰パラメータ化領域では、グローバルミニマは存在し、訓練ダイナミクス（暗黙の正則化）がどのミニマを選択するかに影響を与え、汎化に影響する。
• 深さ関連の解析（例：残差ネットワーク）と平均場スケーリングは訓練ダイナミクスと収束への定性的洞察を提供し、多くの未解決問題が残る。