[論文レビュー] Nearly-tight VC-dimension bounds for piecewise linear neural networks

Nick Harvey, Chris Liaw+1 more|arXiv (Cornell University)|Mar 8, 2017

Stochastic Gradient Optimization Techniques被引用数 108

ひとこと要約

この論文は、深層ReLUニューラルネットワークのVC次元について、ほぼタイトな境界を確立し、重み数 $ W $ と層数 $ L $ を用いて、上界 $ O(W L \log W) $ と下界 $ \Omega(W L \log(W/L)) $ を証明している。さらに、非線形ユニット数 $ U $ に関してはタイトな $ \Theta(WU) $ の境界を示し、すべての区分線形活性化関数に一般化している。

ABSTRACT

We prove new upper and lower bounds on the VC-dimension of deep neural networks with the ReLU activation function. These bounds are tight for almost the entire range of parameters. Letting $W$ be the number of weights and $L$ be the number of layers, we prove that the VC-dimension is $O(W L \log(W))$ and $\Omega( W L \log(W/L) )$. This improves both the previously known upper bounds and lower bounds. In terms of the number $U$ of non-linear units, we prove a tight bound $\Theta(W U)$ on the VC-dimension. All of these results generalize to arbitrary piecewise linear activation functions.

研究の動機と目的

• 深層ReLUネットワークのVC次元に関する、これまでに知られていた上界と下界の間のギャップを埋めること。
• 広範なネットワークパラメータの範囲に適用可能なタイトな漸近的境界を確立すること。
• ReLUに限らず、すべての区分線形活性化関数へ一般化すること。
• VC次元が主なアーキテクチャハイパーパrameter、すなわち重み数 $ W $、層数 $ L $、非線形ユニット数 $ U $ にどのように依存するかを分析すること。

提案手法

• ReLUネットワークが誘導する線形領域の数の組合せ的解析を用いて上界を導出すること。
• 深さと幅を巧みに設計することで、線形領域の複雑さを最大化する具体的なネットワークアーキテクチャを構築し、下界を達成すること。
• パラメータ数と区分線形関数の構造に基づく次元性の議論を適用すること。
• 線形領域の数の数え上げにおける構造的不変性を活用し、ReLUから任意の区分線形活性化関数への境界の一般化を実現すること。
• 深さと幅の間の相互作用を反映するために、境界に対数スケーリングを適用すること。
• パrameter空間全体にわたって上界と下界が対数要因の範囲内で一致することを示し、境界のタイトさを確立すること。

実験結果

リサーチクエスチョン

• RQ1 重み数 $ W $ と層数 $ L $ を用いて、深層ReLUネットワークのVC次元のタイトな上界は何か？
• RQ2 このようなネットワークのVC次元の強力な既知の下界は何か？ そしてそれは $ W $ と $ L $ に対してどのようにスケーリングするか？
• RQ3 VC次元は非線形ユニット数 $ U $ に対してどのようにスケーリングするか？ そしてこの関係はタイトか？
• RQ4 ReLUネットワークに対して導出された境界は、他の区分線形活性化関数へ一般化可能か？
• RQ5 境界はネットワークの深さと幅のどちらに依存するか？ また、アーキテクチャ設計の特徴をどのように反映しているか？

主な発見

• 深層ReLUネットワークのVC次元は、$ O(W L \log W) $ で上界が抑えられ、これまでも知られていた上界を改善している。
• 上界がパrameter空間の大部分においてほぼタイトであることを示す、一致する下界 $ \Omega(W L \log(W/L)) $ が確立された。
• 非線形ユニット数 $ U $ に関する境界は、$ \Theta(WU) $ としてタイトに特徴づけられ、$ U $ に対して線形依存であることが示された。
• 線形領域の複雑さにおける構造的類似性のおかげで、結果はReLUに限らず、すべての区分線形活性化関数に一般化可能である。
• 境界に含まれる対数因子は、ネットワークの容量を制御する際の深さと幅のトレードオフを反映している。
• 分析により、深さと幅がVC次元に与える影響は、単独で考えた場合よりも顕著であり、対数スケーリングがこの相互作用を捉えていることが確認された。