[論文レビュー] Survey of Expressivity in Deep Neural Networks

Maithra Raghu, Ben Poole+3 more|arXiv (Cornell University)|Nov 24, 2016

Neural Networks and Applications参考文献 5被引用数 10

ひとこと要約

本稿は、深層ニューラルネットワークの表現力について、深さに伴い指数関数的に増加するが、幅には依存しない3つの指標——遷移、活性化パターン、二分法——を導入することで調査している。この深さに依存する感度の背後にある要因として、軌道長が特定され、初期層が残りの深さを保つため、表現力に与える影響が大きいことが実験によりMNISTおよびCIFAR-10で裏付けられた。

ABSTRACT

We survey results on neural network expressivity described in "On the Expressive Power of Deep Neural Networks". The paper motivates and develops three natural measures of expressiveness, which all display an exponential dependence on the depth of the network. In fact, all of these measures are related to a fourth quantity, trajectory length. This quantity grows exponentially in the depth of the network, and is responsible for the depth sensitivity observed. These results translate to consequences for networks during and after training. They suggest that parameters earlier in a network have greater influence on its expressive power -- in particular, given a layer, its influence on expressivity is determined by the remaining depth of the network after that layer. This is verified with experiments on MNIST and CIFAR-10. We also explore the effect of training on the input-output map, and find that it trades off between the stability and expressivity.

研究の動機と目的

• ランダム初期化後の深層ニューラルネットワークの関数的表現力に及ぼす深さと幅の影響を理解すること。
• 特定の重み設定に依存しない、アーキテクチャに依存しない表現力の一般化された指標を同定すること。
• トレーニング中に生じる表現力と安定性のトレードオフを調査すること、特に重み初期化がこのバランスに与える影響を明らかにすること。
• 各層の直後における残りの深さに基づいて、初期層がネットワークの表現力に与える影響を検討すること。
• MNISTおよびCIFAR-10データセットを用いた実験により理論的発見を検証すること。

提案手法

• 線形領域の数（遷移）、グローバルな活性化パターン、固定入力集合における二分法という3つの機能的豊かさの指標を用いて表現力を測定する。
• 軌道長を統合的量として導入：1次元曲線の弧長がネットワークを通過する際の長さであり、深さに伴い指数関数的に増加することが示された。
• 正規分布を用いたランダム重み初期化を用いて、軌道長の成長に対する理論的下界を導出する：$\mathbb{E}[l(z^{(d)})] \geq O\left(\left(\frac{\sigma_w}{(\sigma_w^2 + \sigma_b^2)^{1/4}} \cdot \frac{\sqrt{k}}{\sqrt{\sqrt{\sigma_w^2 + \sigma_b^2} + k}}\right)^d\right) l(x(t))$。
• hard-tanh活性化関数を用いて、幅$k$と重み分散$\sigma_w^2$を変化させた場合の軌道長の指数的増加を実験的に検証する。
• MNISTおよびCIFAR-10におけるトレーニングダイナミクスを分析し、ランダムデータと実際のデータの補間の前後で軌道長と遷移を測定する。
• 各層を個別にトレーニングしながら他のすべての層を固定することで、残りの深さの影響を評価し、層の位置に応じた精度の変化を測定する。

実験結果

リサーチクエスチョン

• RQ1 ランダム初期化後、深層ニューラルネットワークの表現力は深さと幅の両方にどのように依存するか？
• RQ2 軌道長は、遷移や活性化パターンといった機能的複雑性の指標の指数的増加を引き起こす根幹的要因として果たす役割は何か？
• RQ3 トレーニングプロセスは、入力-出力マップにおける安定性と表現力のトレードオフにどのように影響するか？
• RQ4 ある層の表現力が、その位置や幅ではなく、その直後の残りの深さに依存する程度はどの程度か？
• RQ5 制御されたトレーニング実験を通じて、初期層がネットワークの表現力に与える影響を定量的に測定・検証できるか？

主な発見

• 遷移、活性化パターン、二分法という3つの表現力指標は、すべてネットワークの深さに伴い指数関数的に増加するが、幅には依存しない。
• 軌道長は深さに伴い指数関数的に増加し、観察された指数的表現力スケーリングの背後にあるメカニズムである。
• 大きな重み分散（$\sigma_w^2 = 16$）で初期化した場合、トレーニングにより軌道長と遷移が減少し、安定性が向上するが表現力が低下する。
• 小さな重み分散（$\sigma_w^2 = 3$）で初期化した場合、トレーニングにより軌道長と遷移が増加し、データへの適合性が向上する。
• 最初の層はトレーニング中に軌道長を増加させる傾向があるため、主にデータ適合に使われており、より深い層はマップの安定化に寄与していると考えられる。
• MNISTおよびCIFAR-10における実験により、層の表現力はその直後の残りの深さに依存しており、初期層がより高い残りの深さを持つため、より大きな影響を持つことが確認された。