[論文レビュー] Understanding Weight Normalized Deep Neural Networks with Rectified Linear Units

Yixi Xu, Xiao Wang|arXiv (Cornell University)|Jan 1, 2018

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿は、ReLUに基づく深層ニューラルネットワークにおける $L_{p,q}$ 重み正則化フレームワークを導入し、深さに依存するが幅に依存しない容量制御を可能にする。ラデマッハ複雑度と近似誤差の分析を通じて、一般化誤差が深さの平方根にのみ比例することを示し、$L_{1,\backslash infty}$ 正則化では誤差が出力層の $L_1$ ノルムにのみ依存することを示している。

ABSTRACT

This paper presents a general framework for norm-based capacity control for $L_{p,q}$ weight normalized deep neural networks. We establish the upper bound on the Rademacher complexities of this family. With an $L_{p,q}$ normalization where $q\le p^*$ and $1/p+1/p^{*}=1$, we discuss properties of a width-independent capacity control, which only depends on the depth by a square root term. We further analyze the approximation properties of $L_{p,q}$ weight normalized deep neural networks. In particular, for an $L_{1,\infty}$ weight normalized network, the approximation error can be controlled by the $L_1$ norm of the output layer, and the corresponding generalization error only depends on the architecture by the square root of the depth.

研究の動機と目的

• ReLU 活性化関数を有する深層ニューラルネットワークにおける、ノルムに基づく容量制御の一般枠組みの構築を目的とする。
• 条件 $q \leq p^*$ および $1/p + 1/p^* = 1$ の下で、$L_{p,q}$-正則化ネットワークのラデマッハ複雑度を分析すること。
• $L_{1,\infty}$-正則化ネットワークにおける、出力層の $L_1$ ノルムに依存する近似誤差バウンドを確立すること。
• 一般化誤差が深さにのみ平方根の項を通じて依存することを示すこと。

提案手法

• ReLU 活性化関数を有する深層ニューラルネットワークのための一般 $L_{p,q}$ 重み正則化スキームを導入する。
• 制約 $q \leq p^*$ および $1/p + 1/p^* = 1$ の下で、$L_{p,q}$-正則化ネットワークのラデマッハ複雑度の上界を導出する。
• $L_{p,q}$-正則化ネットワークの近似特性を分析し、特に $L_{1,\infty}$ 正則化のケースに注目する。
• 近似誤差が出力層重みの $L_1$ ノルムによって制御されることを示す。
• 一般化誤差が深さにのみ平方根の項を通じて依存することを確立する。
• 関数解析とノルムに基づく一般化バウンドを用いて、深さに依存する容量制御を導出する。

実験結果

リサーチクエスチョン

• RQ1 $L_{p,q}$ 重み正則化は、深層 ReLU ネットワークの一般化能力にどのように影響を与えるか？
• RQ2 $L_{p,q}$ 正則化を用いることで、ネットワークの幅に依存せずに容量制御が可能になるか？
• RQ3 $L_{1,\infty}$-正則化ネットワークにおいて、出力層の $L_1$ ノルムと近似誤差の関係は何か？
• RQ4 $L_{p,q}$ 正則化下で、一般化誤差は深さに対してどのようにスケーリングされるか？
• RQ5 双対ノルム $p^*$ は、$L_{p,q}$-正則化ネットワークの複雑度を制御するために果たす役割は何か？

主な発見

• 条件 $q \leq p^*$ および $1/p + 1/p^* = 1$ の下で、$L_{p,q}$-正則化ネットワークのラデマッハ複雑度は有界であり、一般化の理論的制御が可能になる。
• $L_{1,\infty}$-正則化ネットワークでは、近似誤差が出力層重みの $L_1$ ノルムによって制御される。
• $L_{1,\infty}$-正則化ネットワークの一般化誤差は、深さにのみ平方根の項を通じて依存し、幅とは無関係である。
• フレームワークにより、幅に依存しない容量制御が達成され、複雑度は $\sqrt{\text{depth}}$ のスケーリングに従う。
• 解析により、$L_{p,q}$ 正則化は、幅や明示的な正則化に依存せずにモデルの複雑度を原理的かつ適切に制御する手段を提供することが明らかになった。
• 理論的バウンドにより、深さに依存する正則化下でも、幅の制約なしに、より深いネットワークが良好に一般化できることを示している。