[論文レビュー] Deep ReLU Networks Preserve Expected Length

Boris Hanin, Ryan Jeong+1 more|arXiv (Cornell University)|Feb 21, 2021

Adversarial Robustness in Machine Learning参考文献 26被引用数 7

ひとこと要約

この論文は、標準的なHe初期化を用いた深層ReLUネットワークが、深さに伴い指数関数的な長さ歪みを経験しないことを示している。代わりに、期待される長さ歪みは有界であり、深さが増すにつれてわずかに減少する。著者らは、ランダム行列理論とガウス重み初期化を用いて、期待される長さおよび体積歪みの正確な上界を導出し、歪みが初期化段階でうまく制御されていることを示している。これは、従来の指数的増加の仮定とは対照的である。

ABSTRACT

Assessing the complexity of functions computed by a neural network helps us understand how the network will learn and generalize. One natural measure of complexity is how the network distorts length - if the network takes a unit-length curve as input, what is the length of the resulting curve of outputs? It has been widely believed that this length grows exponentially in network depth. We prove that in fact this is not the case: the expected length distortion does not grow with depth, and indeed shrinks slightly, for ReLU networks with standard random initialization. We also generalize this result by proving upper bounds both for higher moments of the length distortion and for the distortion of higher-dimensional volumes. These theoretical results are corroborated by our experiments.

研究の動機と目的

• 深層ReLUネットワークが深さに伴い指数関数的に増大する長さ歪みを示すという長年の仮定を解消すること。
• 初期化段階における深層ReLUネットワークの期待される長さ歪みのタイトな理論的上限を提供すること。
• これらの上限を、歪みの高次モーメントおよび高次元体積歪みへと拡張すること。
• 従来の緩い上限が、微妙なアーキテクチャ的依存性を捉えられていないことの実験的検証を行い、新しい上限が観測された挙動とよく一致することを示すこと。
• 特に、指数的増加を主張する以前の主張における重大なタイプミスによる誤解を解消すること。

提案手法

• 著者らは、チェインルールとヤコビ行列に基づく解析を用い、変換された曲線の長さを接ベクトルに作用するヤコビ行列のノルムで表現する。
• ガウス重み初期化を活用して、$||J_x u||^2$ の分布を独立なスケーリングされたカイ二乗分布の積として導出する。
• カイ二乗分布の期待値を用いて、$\mathbb{E}[||J_x u||^2] = \frac{n_L}{n_0}$ を計算し、期待される長さ歪みの上界を求める。
• 同様のモーメントベースの手法を用いて、長さ歪みの高次モーメントおよび高次元体積歪みへの一般化を実施する。
• 初期化段階における深層ReLUネットワークを用いた実験を通じて、理論的予測を検証し、従来の緩い上限と比較する。
• 従来の研究における重大なタイプミス（指数部における2の因子の欠落）を是正し、正確な解析により元の結論が無効であることを示す。

実験結果

リサーチクエスチョン

• RQ1 標準的なHe初期化の下で、深層ReLUネットワークにおける期待される長さ歪みは深さに伴い指数関数的に増大するか？
• RQ2 初期化段階における深層ReLUネットワークの期待される長さ歪みおよびその高次モーメントのタイトな上界は何か？
• RQ3 ReLUネットワークにおける高次元体積の歪みは深さに伴いどのようにスケーリングされるか？
• RQ4 なぜ従来の長さ歪みに関する理論的上限が、実験的観測と一致しないのか？
• RQ5 期待される長さ歪みの挙動は、標準初期化下でネットワークの幅および深さに敏感か？

主な発見

• He初期化（$\sigma_w = \sqrt{2}$）を用いた深層ReLUネットワークにおける期待される長さ歪みは、1より小さい上界を持ち、深さが増すにつれてわずかに減少する。
• 期待される二乗ヤコビ行列ノルムの正確な式は $\mathbb{E}[||J_x u||^2] = \frac{n_L}{n_0}$ であり、これは期待される長さ歪みのタイトな上界を提供する。
• 長さ歪みの高次モーメントは適切に制御されており、高い確率で成り立つ上界を有するため、歪みの分布における安定性が示される。
• 高次元体積の歪みについても同様に有界であり、理論は入力の$k$次元部分多様体へと一般化可能である。
• 実験的結果により、新しい理論的上限が観測された挙動とよく一致する一方、従来の上限は緩く、アーキテクチャ的依存性を捉えていないことが確認された。
• 従来の研究における重大なタイプミス（指数部における2の因子の欠落）により、誤った指数的増加の主張がなされたが、著者らは厳密な解析によりこれを是正した。