[論文レビュー] Generalization Bounds for Neural Networks via Approximate Description Length

Amit Daniely, Elad Granot|arXiv (Cornell University)|Oct 13, 2019

Neural Networks and Applications被引用数 5

ひとこと要約

この論文は、重みノルム制約を伴う全結合ニューラルネットワークのための、よりタイトな一般化境界を導出するための新しい近似記述長（ADL）フレームワークを提案する。線形および非線形演算による関数合成の記述長を分析することで、$ ilde{O}(dR^2/ au^2)$ のサンプル複雑度を確立し、これは対数要因を除いて最適であり、特に初期化からの重みのずれを絶対ノルムではなく測定する場合、従来の境界よりも$d$ 倍改善される。

ABSTRACT

We investigate the sample complexity of networks with bounds on the magnitude of its weights. In particular, we consider the class \[ H=\left\{W_t\circρ\circ \ldots\circρ\circ W_{1} :W_1,\ldots,W_{t-1}\in M_{d, d}, W_t\in M_{1,d} ight\} \] where the spectral norm of each $W_i$ is bounded by $O(1)$, the Frobenius norm is bounded by $R$, and $ρ$ is the sigmoid function $\frac{e^x}{1+e^x}$ or the smoothened ReLU function $ \ln (1+e^x)$. We show that for any depth $t$, if the inputs are in $[-1,1]^d$, the sample complexity of $H$ is $ ilde O\left(\frac{dR^2}{ε^2} ight)$. This bound is optimal up to log-factors, and substantially improves over the previous state of the art of $ ilde O\left(\frac{d^2R^2}{ε^2} ight)$. We furthermore show that this bound remains valid if instead of considering the magnitude of the $W_i$'s, we consider the magnitude of $W_i - W_i^0$, where $W_i^0$ are some reference matrices, with spectral norm of $O(1)$. By taking the $W_i^0$ to be the matrices at the onset of the training process, we get sample complexity bounds that are sub-linear in the number of parameters, in many typical regimes of parameters. To establish our results we develop a new technique to analyze the sample complexity of families $H$ of predictors. We start by defining a new notion of a randomized approximate description of functions $f:X o\mathbb{R}^d$. We then show that if there is a way to approximately describe functions in a class $H$ using $d$ bits, then $d/ε^2$ examples suffices to guarantee uniform convergence. Namely, that the empirical loss of all the functions in the class is $ε$-close to the true loss. Finally, we develop a set of tools for calculating the approximate description length of classes of functions that can be presented as a composition of linear function classes and non-linear functions.

研究の動機と目的

• 深層学習における古典的一般化境界と実験的成功のギャップを埋めるために、重みの大きさ制約を組み込むこと。
• ReLUおよびシグモイドネットワークにおける最新のサンプル複雑度境界 $\tilde{O}(d^2R^2/\epsilon^2)$ よりも改善すること。
• ニューラルネットワーク関数クラスのサンプル複雑度を分析するための新しい理論的枠組み—近似記述長（ADL）—を構築すること。
• 初期化からの重みノルムの相対的測定により、パrameter数に比例しない（サブラインア）サンプル複雑度が達成可能であることを示すこと。
• 重み更新が小さい実用的トレーニング設定において、ノルムに基づく一般化境界の適用範囲を拡大すること。

提案手法

• 関数 $f: \mathcal{X} \to \mathbb{R}^d$ のランダム化近似記述を $d$ ビットで定義する新しい概念を導入する。
• 関数クラス $\mathcal{H}$ が長さ $d$ の近似記述を許容するならば、$d/\epsilon^2$ 個のサンプルで一様収束が $\epsilon$ 以内に達成されることを証明する。
• 線形演算と非線形活性化関数の合成の近似記述長を計算するためのツールを開発する。
• 重み行列の特異値およびフロベニウスノルム制約を用いて、ネットワーククラスの記述長を制限する。
• シグモイドおよび滑らかにしたReLU活性化を伴う全結合ネットワークにこのフレームワークを適用し、記述長が $O(dR^2)$ に比例することを示す。
• 重みノルムが初期化行列 $W_i^0$ からの相対値として測定される場合を分析し、$\|W_i - W_i^0\|_F \leq R$ のときよりタイトな境界が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 初期化からの重みノルムの相対的測定を用いることで、深層ネットワークのよりタイトな一般化境界を導出可能か？
• RQ2 有界な重みを持つ全結合ネットワークにおいて、サンプル複雑度 $\tilde{O}(dR^2/\epsilon^2)$ は対数要因を除いて最適か？
• RQ3 近似記述長（ADL）フレームワークを用いて、パrameter数に対してサブラインアな一般化境界を導出可能か？
• RQ4 ADLフレームワークは、畳み込みネットワークや残差ネットワークなどの他のアーキテクチャへも拡張可能か？
• RQ5 ADLアプローチは教師あり学習を超えて、クラスタリング、PCA、辞書学習などへ一般化可能か？

主な発見

• この論文は、ReLUおよびシグモイド活性化を伴う全結合ニューラルネットワークに対して、$\tilde{O}(dR^2/\epsilon^2)$ の一般化境界を確立し、これは対数要因を除いて最適である。
• この境界は、従来の最新の境界 $\tilde{O}(d^2R^2/\epsilon^2)$ よりも $d$ 倍改善されている。
• 重みノルムが初期化行列 $W_i^0$ からの相対値として測定される場合、$R \sim \sqrt{d}$ のような通常の設定では、パrameter数に比例しない（サブラインア）サンプル複雑度が達成される。
• 著者らは、$\tilde{O}(dR^2/\epsilon^2)$ が対数要因を除いてタイトであることを示す下界を証明し、上界の最適性を確認した。
• ADLフレームワークは、線形および非線形演算から成る関数クラスの分析に有効であることが示され、一般化解析のための新しい理論的ツールを提供する。
• 実験的証拠は、$\|W_i - W_i^0\|_F$ が $\|W_i\|_F$ よりもはるかに小さいことが多く、改善された境界の実用的関連性を支持している。