[論文レビュー] Quadratic Suffices for Over-parametrization via Matrix Chernoff Bound

Zhao Song, Xin Yang|arXiv (Cornell University)|Jun 9, 2019

Stochastic Gradient Optimization Techniques参考文献 45被引用数 55

ひとこと要約

本論文は二層 ReLU ネットワークの過剛性化の境界を tighter にし、勾配法が全局最小に到達するための幅 m の要件を改善し、Matrix Chernoff bounds による失敗確率 δ への依存を速くする。

ABSTRACT

We improve the over-parametrization size over two beautiful results [Li and Liang' 2018] and [Du, Zhai, Poczos and Singh' 2019] in deep learning theory.

研究の動機と目的

• provable な学習と一般化のために二層ニューラルネットワークで必要な最小の過パラメータ化を調査する。
• データサイズ n と失敗確率 δ に対する幅 m の既存境界を改善する。
• Concentration 分析を Matrix Chernoff を用いてより厳密な確率保証を得る。
• 過パラメータ化の下での収束挙動と正則化効果を探索する。

提案手法

• データ依存の Gram 行列 H(w) およびその連続形・離散形として H^{cts} と H^{dis} を定義する。
• Matrix Chernoff 型の濃度を用いてランダム行列の和の特スペクトルノルムを上界し、δ への依存を poly(log(1/δ)) に改善する。
• 連続 Gram 行列と離散 Gram 行列の差を上界して、spectral 近傍性を保証する。m は λ, α, β, θ に依存。
• ウェイト更新が w を制御されたボール内に保つ様子を分析し、H(w) の正の最小特性値 λ を保持する。
• m = Ω(λ^{-4} n^{4} poly(log(n/δ))) のとき、勾配法は高い確率で全局最小へ収束することを示す。
• 追加のデータ仮定の下での改良として m = Ω(λ^{-4} n^{3} α poly(log(n/δ))) および m = Ω(λ^{-4} n^{2} α(α+θ^2) poly(log(n/δ))) となり得ること、及び過パラメータ化の下での訓練誤差の挙動と汎化に関する非公式な記述を提供する。

実験結果

リサーチクエスチョン

• RQ1 勾配法が二層 ReLU ネットワークの n 個のデータ点を用いて全局最小を見つけるために必要な最小の過パラメータ化（幅 m）はどれくらいか？
• RQ2 失敗確率 δ は必要な幅 m にどう影響し、これを 1/δ から poly(log(1/δ)) に改善できるか？
• RQ3 ランダム行列の濃度結果（Matrix Chernoff）は過パラメータ化に関する従来の境界をより厳密にできるか？
• RQ4 データ依存性の特性（α, β, θ）は必要な m と収束速度にどう影響するか？
• RQ5 正則化が過パラメータ化下の訓練収束と一般化に与える影響はどのようか？

主な発見

• 勾配法をランダム初期化で実行すると、m = Ω(λ^{-4} n^{4} poly(log(n/δ))) のとき高確率で全局最小へ収束する。
• 特定のデータ特性の下では、幅の境界が m = Ω(λ^{-4} n^{3} α poly(log(n/δ))) へ改善する。
• さらなる仮定の下では境界が m = Ω(λ^{-4} n^{2} α(α+θ^{2}) poly(log(n/δ))) へ低減する。
• 失敗確率 δ への依存性は 1/δ の多項式から log(1/δ) の多項式へ改善される。
• 分析は神経網の幅をランダム行列の和の濃度と Matrix Chernoff bound との関連へ結びつける。
• 過パラメータ化下での正則化訓練と一般化への影響についても言及する。