[論文レビュー] Complexity, Statistical Risk, and Metric Entropy of Deep Nets Using Total Path Variation

Andrew R. Barron, Jason M. Klusowski|arXiv (Cornell University)|Feb 2, 2019

VLSI and FPGA Design Techniques参考文献 18被引用数 18

ひとこと要約

本稿では、全結合ReLUネットワークの総経路変動 $V$ を用いた新しい特徴付けを導入し、統計的リスク、ラデマッハ複雑度、ガウス複雑度、メトリックエントロピーがすべて $V$ に比例することを示している。主な結果は、$V$, 深さ $L$, 入力次元 $d$, およびサンプルサイズ $n$ のみに依存する一般化誤差の境界 $V\sqrt{L + \log d}/\sqrt{n}$ であり、層ごとのニューロン数とは無関係である。

ABSTRACT

For any ReLU network there is a representation in which the sum of the absolute values of the weights into each node is exactly $1$, and the input layer variables are multiplied by a value $V$ coinciding with the total variation of the path weights. Implications are given for Gaussian complexity, Rademacher complexity, statistical risk, and metric entropy, all of which are shown to be proportional to $V$. There is no dependence on the number of nodes per layer, except for the number of inputs $d$. For estimation with sub-Gaussian noise, the mean square generalization error bounds that can be obtained are of order $V \sqrt{L + \log d}/\sqrt{n}$, where $L$ is the number of layers and $n$ is the sample size.

研究の動機と目的

• 総経路変動 $V$ を用いて、深層ReLUネットワークの複雑度と一般化リスクを統一的に分析する枠組みを確立すること。
• ラデマッハ複雑度、ガウス複雑度、メトリックエントロピーといった主要な複雑度測度が、ネットワークの幅に依存しない形ですべて $V$ に比例することを示すこと。
• 層ごとのニューロン数に依存しない、$V$, 深さ $L$, 入力次元 $d$, サンプルサイズ $n$ のみに依存するタイトな一般化誤差境界を導出すること。
• $V$ を用いたペナルティ付き経験リスク最小化が、非適応的レートに一致する適応的リスク境界をもたらすことを示すこと。
• 深層ネットワークの文脈において、メトリックエントロピーとラデマッハ複雑度・ガウス複雑度といった複雑度測度との関係を明確にすること。

提案手法

• 各ノードへの絶対重みの和が正確に1となるような任意のReLUネットワークを表現し、入力を総経路変動 $V$ でスケーリングすること。
• この表現を用いて、対称性とサブガウス分布の濃度を利用し、$V$ を用いたラデマッハ複雑度とガウス複雑度の上界を導出すること。
• ファーノの不等式と情報理論的議論を適用し、リスク境界からメトリックエントロピーの境界を導出し、複雑度と一般化の関係を確立すること。
• ガウス複雑度とラデマッハ複雑度を含む比較不等式を用いて一般化誤差境界を導出し、$V$, $L$, $d$, $n$ への明示的依存を示すこと。
• $V$ を用いたペナルティ付き経験リスク最小化が、非適応的レートに一致する適応的リスク境界をもたらすことを確立すること。
• カバーの議論と経路変動を用いて、関数族 ${\mathcal{F}}_{L,V,B}$ のメトリックエントロピーが $O(V \cdot (L + \log d))$ で有界であることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 総経路変動 $V$ は、ネットワークの幅に依存する要因を統合する統一された複雑度測度として深層ReLUネットワークに適しているか？
• RQ2 一般化誤差が $V$, 深さ $L$, 入力次元 $d$, サンプルサイズ $n$ にどのように依存するかの正確な依存関係は何か？
• RQ3 深層ネットワーク関数族において、ラデマッハ複雑度、ガウス複雑度、メトリックエントロピー複雑度の間にはどのような関係があるか？
• RQ4 ペナルティ付き経験リスク最小化において、$V$ を用いたペナルティにより適応的リスク境界を達成できるか？
• RQ5 $V\sqrt{L + \log d}/\sqrt{n}$ の一般化誤差境界はタイトであり、最小最大下界と一致するか？

主な発見

• サブガウスノイズ下での最小二乗推定における一般化誤差は、$2V(\sigma + 4B)\sqrt{2(L\log 2 + \log(2d))/n}$ で有界であり、$V$, $L$, $d$, $n$ への明示的依存が示されている。
• ラデマッハ複雑度とガウス複雑度の両方が、$O(V\sqrt{(L + \log d)/n})$ で上界が与えられ、層ごとのニューロン数に依存しない。
• 関数族 ${\mathcal{F}}_{L,V,B}$ のメトリックエントロピーは、カバーの議論と経路変動を用いて $O(V(L + \log d))$ で有界であることが導出された。
• ペナルティ付き経験リスク最小化における $V$ を用いたペナルティは、$\|f - f^*\|^2 + V(f)\lambda_n$ の形の適応的リスク境界をもたらし、$\lambda_n \asymp \sqrt{(L + \log d)/n}$ となる。これは非適応的レートと一致する。
• 境界 $V\sqrt{L + \log d}/\sqrt{n}$ が、単一隠れ層ネットワークにおける既知の最小最大下界と一致することから、本質的に最適であることが示された。
• 本稿では、情報理論的不等式を通じて、メトリックエントロピーとラデマッハ複雑度・ガウス複雑度といった複雑度測度が相互に関連しており、メトリックエントロピーが複雑度の下界を提供することが確立された。