[論文レビュー] Hausdorff Dimension, Stochastic Differential Equations, and Generalization in Neural Networks.

Umut Şimşekli, Ozan Şener+2 more|arXiv (Cornell University)|Jun 16, 2020

Stochastic Gradient Optimization Techniques被引用数 5

ひとこと要約

本稿は、勾配降下法の軌道をFeller過程としてモデル化することで、深層学習における確率的勾配降下法（SGD）の新しい一般化境界を提案している。一般化誤差は、これらの軌道のハウスドルフ次元によって制御されることを示している。主な結果として、より重い尾を持つノイズ過程（低い尾指数）は、一般化性能を向上させることを示しており、尾指数を、モデルサイズに比例せずに一般化誤差と相関する新しい容量指標として確立している。

ABSTRACT

Despite its success in a wide range of applications, characterizing the generalization properties of stochastic gradient descent (SGD) in non-convex deep learning problems is still an important challenge. While modeling the trajectories of SGD via stochastic differential equations (SDE) under heavy-tailed gradient noise has recently shed light over several peculiar characteristics of SGD, a rigorous treatment of the generalization properties of such SDEs in a learning theoretical framework is still missing. Aiming to bridge this gap, in this paper, we prove generalization bounds for SGD under the assumption that its trajectories can be well-approximated by a Feller process, which defines a rich class of Markov processes that include several recent SDE representations (both Brownian or heavy-tailed) as its special case. We show that the generalization error can be controlled by the Hausdorff dimension of the trajectories, which is intimately linked to the tail behavior of the driving process. Our results imply that heavier-tailed processes should achieve better generalization; hence, the tail-index of the process can be used as a notion of ``capacity metric''. We support our theory with experiments on deep neural networks illustrating that the proposed capacity metric accurately estimates the generalization error, and it does not necessarily grow with the number of parameters unlike the existing capacity metrics in the literature.

研究の動機と目的

• 非凸な深層学習における重い尾を持つ勾配ノイズの下で、SGDに対する厳密な学習理論的一般化境界の欠如に対処すること。
• SGDの確率的微分方程式（SDE）モデルと一般化理論の間のギャップを埋めること。
• SGDにおける駆動ノイズ過程の尾の挙動に基づく新しい容量指標を提案すること。
• この指標が、モデルサイズに依存せずに一般化誤差と相関することを実証すること。

提案手法

• SGDの軌道を、ブラウン運動やレヴィ型SDEを含む広範なマコフ過程であるFeller過程としてモデル化する。
• Feller過程の軌道のハウスドルフ次元に依存する一般化境界を確立する。
• ハウスドルフ次元をノイズの尾の挙動と関連付け、より重い尾（低い尾指数）が一般化誤差を低減することを示す。
• ノイズ過程の尾指数を容量指標として用い、従来のサイズに基づく測定と置き換える。
• SGDのダイナミクスがFeller過程によってよく近似可能であるという仮定の下で理論的境界を導出する。
• 提案された指標を実際の一般化誤差と比較することで、深層ニューラルネットワーク上で理論を実証的に検証する。

実験結果

リサーチクエスチョン

• RQ1 重い尾を持つノイズを伴う確率的微分方程式の枠組みにおいて、SGDの一般化境界を厳密に導出可能か？
• RQ2 SGDの軌道のハウスドルフ次元は、一般化性能とどのように関係するか？
• RQ3 ノイズ過程の尾指数は、深層学習における意味のある容量指標として機能できるか？
• RQ4 提案された容量指標は、モデルサイズに依存せずに一般化誤差と相関するか？
• RQ5 実際の応用において、この指標は既存の容量測定と比較してどのように評価されるか？

主な発見

• SGDの一般化誤差は、駆動ノイズ過程の尾の挙動によって決定されるその軌道のハウスドルフ次元によって上限が与えられる。
• より重い尾を持つノイズ過程（低い尾指数）は、一般化誤差を低減させ、一般化能力が向上することを示唆する。
• ノイズ過程の尾指数は、一般化誤差と相関する新しい容量指標として機能する。
• 提案された容量指標は、パrameter数に比例して増加するとは限らず、パrameter数やノルムに基づく測定と異なり、従来の指標とは異なる性質を持つ。
• 深層ニューラルネットワークにおける実験的結果から、提案された指標が、さまざまなアーキテクチャやデータセットにおいて、一般化誤差を正確に予測できることを確認した。