[論文レビュー] Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms

Alexander Camuto, George Deligiannidis+4 more|arXiv (Cornell University)|Jun 9, 2021

Stochastic Gradient Optimization Techniques参考文献 27被引用数 10

ひとこと要約

本稿では、確率的反復関数系（RIFS）から導かれる不変測度のフラクタル次元と、確率的最適化アルゴリズムの一般化性能との間の新しい枠組みを提案する。SGDなどのアルゴリズムをRIFSとしてモデル化することで、一般化誤差が、その背後にあるフラクタル構造の複雑さ（ハウスドルフ次元）によって制限されることを証明し、ステップサイズ、バッチサイズ、ヘッセ行列の幾何的性質に依存する明示的な境界を示す。

ABSTRACT

Understanding generalization in deep learning has been one of the major challenges in statistical learning theory over the last decade. While recent work has illustrated that the dataset and the training algorithm must be taken into account in order to obtain meaningful generalization bounds, it is still theoretically not clear which properties of the data and the algorithm determine the generalization performance. In this study, we approach this problem from a dynamical systems theory perspective and represent stochastic optimization algorithms as random iterated function systems (IFS). Well studied in the dynamical systems literature, under mild assumptions, such IFSs can be shown to be ergodic with an invariant measure that is often supported on sets with a fractal structure. As our main contribution, we prove that the generalization error of a stochastic optimization algorithm can be bounded based on the `complexity' of the fractal structure that underlies its invariant measure. Leveraging results from dynamical systems theory, we show that the generalization error can be explicitly linked to the choice of the algorithm (e.g., stochastic gradient descent -- SGD), algorithm hyperparameters (e.g., step-size, batch-size), and the geometry of the problem (e.g., Hessian of the loss). We further specialize our results to specific problems (e.g., linear/logistic regression, one hidden-layered neural networks) and algorithms (e.g., SGD and preconditioned variants), and obtain analytical estimates for our bound.For modern neural networks, we develop an efficient algorithm to compute the developed bound and support our theory with various experiments on neural networks.

研究の動機と目的

• 高容量であるにもかかわらず現代の深層ニューラルネットワークが良好に一般化する理由を理論的に理解するという理論的ギャップを埋めるために、データおよびアルゴリズムのダイナミクスを一般化境界に統合すること。
• SGDなどの確率的最適化アルゴリズムを、ランダム反復関数系（RIFS）としてモデル化し、その長期的不変測度の研究を可能にすること。
• これらの不変測度のフラクタル幾何と、訓練済みモデルの一般化誤差との間の関係を確立すること。
• アルゴリズムハイパーパrameter（ステップサイズ、バッチサイズ）および問題の幾何（ヘッセ行列、データ分布）に明示的に依存する、明示的かつ非自明な一般化境界を導出すること。

提案手法

• ミニバッチサンプリングに基づき、有限集合からランダム関数を抽出する各反復を含む、確率的最適化アルゴリズムをランダム反復関数系（RIFS）として形式化する。
• 力学系理論を活用し、やや緩い条件下でRIFSが、フラクタル集合にサポートされた一意の不変測度に収束することを示す。
• 一般化誤差を経験的リスクと母集団リスクの差として定義し、不変測度のハウスドルフ次元を用いてその境界を求める。
• ランダム関数のリャプノフ指数および収縮性質を用いて、不変測度のハウスドルフ次元の上界を導出する。
• フラクタル次元の境界を用いて、情報理論的および幾何的議論を通じて、アルゴリズムおよびデータに依存する明示的な一般化誤差境界を導出する。
• 現代のニューラルネットワークに対して、フラクタル次元に基づく境界を効率的に計算するためのアルゴリズムを開発し、実証的検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 確率的最適化アルゴリズムの一般化性能を、その不変測度の幾何的複雑さと理論的にどのように結びつけることができるか？
• RQ2 アルゴリズムダイナミクスによって誘発される不変測度のフラクタル構造が、一般化誤差を決定づける役割を果たすか？
• RQ3 フラクタル次元を通じて、ステップサイズ、バッチサイズなどのアルゴリズムハイパーパrameterおよび損失関数のヘッセ行列などのデータ幾何に明示的に依存する一般化境界を導出できるか？
• RQ4 理論的境界と、現代のニューラルネットワークにおける実測一般化誤差の間にはどのような相違があるか？
• RQ5 不変測度のフラクタル次元は、一般化性能の実用的代理指標として、効率的に推定可能か？

主な発見

• 確率的最適化アルゴリズムの一般化誤差は、対応するランダム反復関数系（RIFS）の不変測度のハウスドルフ次元によって制限される。
• 定常ステップサイズのSGDでは、不変測度はフラクタル集合（例：カントール型）にサポートされ、そのハウスドルフ次元は $ \frac{b \log(n/b)}{\log(1 / (1 - \eta M^{-1}\lambda + \frac{1}{4}\eta m^{-1}R^2))} $ で有界である。ここで $ \lambda $ はヘッセ行列の最小固有値である。
• 線形回帰およびロジスティック回帰では、境界は $ \frac{\log(n/b)}{\log(1 / (1 - \eta M^{-1}\lambda_r + \eta m^{-1}R^2 \cdot 2/t_0))} $ に簡略化され、損失関数の曲率に明示的な依存性を示す。
• 1層の隠れ層を有するニューラルネットワークでは、境界はヘッセ行列の固有値スペクトルおよび活性化関数の2階微分に依存し、$ \overline{\dim}_{\mathrm{H}}\mu_{W|\mathbf{S}_n} \leq \frac{\log(n/b)}{\log(1 / (1 - \eta M^{-1}\lambda + \eta m^{-1}R^2 / (4\rho)))} $ となる。
• 導出された境界は非自明であり、アルゴリズム的選択（ステップサイズ、バッチサイズ）およびデータ幾何（ヘッセ行列、特徴量ノルム）に明示的に依存する。
• 深層ネットワークに対してフラクタル次元に基づく境界を効率的に計算するためのアルゴリズムが開発され、実験によりその境界と実測一般化誤差との相関が確認された。