[論文レビュー] Nearly-tight VC-dimension and pseudodimension bounds for piecewise linear neural networks

Peter L. Bartlett, Nick Harvey+2 more|arXiv (Cornell University)|Mar 8, 2017

Stochastic Gradient Optimization Techniques被引用数 205

ひとこと要約

本論文は深層 ReLU（分岐線形）ネットワークの VC 次元と準次元にほぼ緊密な境界を示し、W（重み）、L（層）、U（非線形ユニット）に依存する上界と下界を示す。

ABSTRACT

We prove new upper and lower bounds on the VC-dimension of deep neural networks with the ReLU activation function. These bounds are tight for almost the entire range of parameters. Letting $W$ be the number of weights and $L$ be the number of layers, we prove that the VC-dimension is $O(W L \log(W))$, and provide examples with VC-dimension $Ω( W L \log(W/L) )$. This improves both the previously known upper bounds and lower bounds. In terms of the number $U$ of non-linear units, we prove a tight bound $Θ(W U)$ on the VC-dimension. All of these bounds generalize to arbitrary piecewise linear activation functions, and also hold for the pseudodimensions of these function classes. Combined with previous results, this gives an intriguing range of dependencies of the VC-dimension on depth for networks with different non-linearities: there is no dependence for piecewise-constant, linear dependence for piecewise-linear, and no more than quadratic dependence for general piecewise-polynomial.

研究の動機と目的

• 分岐線形活性化を持つ深層ネットワークにおける VC 次元と準次元を通じた一般化の理解を動機づける。
• W と L の関数としての VC次元のほぼ緊密な上界と下界を導出する。
• 活性化の種類を横断して深さと非線形性を VC 次元と準次元に関連づける。
• ニューラルネットワークにおける深さ対幅の観点で鋭い境界とその影響を示す。

提案手法

• 分岐線形ネットワーク（ReLUを含む）を導入・解析して VC 次元と準次元を研究する。
• 改良されたビット抽出構成を用いて新たな下界を証明し、VC次元 ≥ WL log(W/L)/C（定理3）を与える。
• 成長関数と半代数集合技法を用いて分岐多項活性化には新たな上界を証明する（定理6）。
• 量 1Wbar を介して有効な深さとパラメータ分布と VC 次元を関連付ける（定理6）。
• 分岐多項活性化に対してWとUの関数としての上界を確立する（定理8）。
• 深さに対する影響を示す：分岐定数、分岐線形、および一般の分岆活性化関数。

実験結果

リサーチクエスチョン

• RQ1 分岐線形活性化を持つ深層ネットワークに対して、定数を除けばどの程度厳密な VC 次元と準次元の境界が成り立つのか？
• RQ2 パラメータ数 W、層数 L、非線形ユニット数 U は VC 次元と準次元にどのように影響するか？
• RQ3 深さは分岐定数、分岐線形、分岒多項活性化で VC 次元に異なる影響を与えるか？
• RQ4 ReLU を含む活性化ファミリ全体で上界を統一・厳密化できるか？

主な発見

• 上で述べたアーキテクチャの分岐線形ネットワークに対する VC 次元は O(WL log(W)) である。
• VC次元が少なくとも Ω(WL log(W/L)) であるネットワークが存在し、以前の Ω(WL) および Ω(W log W) の境界を改善する。
• 非線形ユニット数 U に関して、VC次元は Θ(WU)。
• 分岐多項活性化に対して、一般には O(WU)、分岐線形ケースでは Ω(WL log(W/L)) に境界が改善される。
• 分岐定数活性化では深さ依存はなく、一般的な分岐多項活成化では深さは最大二次まで、分岐線形の場合は境界に線形の深さの相互作用を示す。
• 上界結果（定理6）は d = 1 の場合に VC 次元が O(WL log W) にスケールすることを示し、有効深さと活性化構造への依存を明らかにする。