[論文レビュー] Tensor Programs III: Neural Matrix Laws

Greg Yang|arXiv (Cornell University)|Sep 22, 2020

Stochastic Gradient Optimization Techniques参考文献 50被引用数 19

ひとこと要約

本稿では、ランダムに初期化された広いニューラルネットワークにおいて、前活性化が重み行列から漸近的に自由になるという自由独立性原理（FIP）を導入し、その証明を行う。新しいテンソルプログラムのマスターテーブルを用いて、ジャコビアン特異値分布やニューラルタングエント・カーネルに関する先行研究で用いられてきた自由独立性仮定を厳密に裏付ける。これにより、あらゆるニューラルネットワークアーキテクチャにわたる構造的普遍性が確立される。

ABSTRACT

In a neural network (NN), *weight matrices* linearly transform inputs into *preactivations* that are then transformed nonlinearly into *activations*. A typical NN interleaves multitudes of such linear and nonlinear transforms to express complex functions. Thus, the (pre-)activations depend on the weights in an intricate manner. We show that, surprisingly, (pre-)activations of a randomly initialized NN become *independent* from the weights as the NN's widths tend to infinity, in the sense of asymptotic freeness in random matrix theory. We call this the Free Independence Principle (FIP), which has these consequences: 1) It rigorously justifies the calculation of asymptotic Jacobian singular value distribution of an NN in Pennington et al. [36,37], essential for training ultra-deep NNs [48]. 2) It gives a new justification of gradient independence assumption used for calculating the Neural Tangent Kernel of a neural network. FIP and these results hold for any neural architecture. We show FIP by proving a Master Theorem for any Tensor Program, as introduced in Yang [50,51], generalizing the Master Theorems proved in those works. As warmup demonstrations of this new Master Theorem, we give new proofs of the semicircle and Marchenko-Pastur laws, which benchmarks our framework against these fundamental mathematical results.

研究の動機と目的

• ニューラルネットワークのジャコビアン特異値分布を解析する際に広く用いられている自由独立性仮定に、厳密な基礎を築くこと。
• 古典的手法が失敗する非線形ディープラーニングの文脈に、ランダム行列理論の技法を一般化すること。
• 自由独立性の性質が、特定のアーキテクチャに限らず、すべてのニューラルネットワークアーキテクチャに普遍的に成り立つことを証明すること。
• 広いニューラルネットワークにおける漸近的挙動の体系的解析を可能にする、新しいテンソルプログラムのマスターテーブルを開発すること。
• 提案されたフレームワークのベンチマークとして、古典的なランダム行列の法則（半円則およびマルチェンコ＝パストール則）の新たな厳密な証明を提供すること。

提案手法

• 複雑な非線形合成の漸近的解析を可能にするよう一般化された、新しいテンソルプログラムのマスターテーブルを提案。
• 行列変換下でのモーメント収束性および直交性の性質を追跡するため、ベクトル集合（M）に対する再帰的帰納的枠組みを用いる。
• 非線形的依存性を扱うために、擬似リプシッツ関数およびガウス周辺付け技術を適用。
• 行列積のガウス成分および線形成分への分解を用いて、残差項のモーメントが消えることを証明。
• 漸近的独立性を形式化するため、「消えるモーメント」と「直交系」の概念を導入。
• 強大数の法則および集中不等式を活用し、モーメント統計量のほとんど確実収束を確立。

実験結果

リサーチクエスチョン

• RQ1 無限広さの極限において、すべてのニューラルネットワークアーキテクチャにわたって、重みと前活性化の間の自由独立性仮定が普遍的に成り立つか？
• RQ2 半円則およびマルチェンコ＝パストール則といった古典的ランダム行列法則が、非線形ニューラルネットワークの統一的フレームワークを用いて厳密に再導出可能か？
• RQ3 古典的ランダム行列理論における展開技法が、非線形ニューラルネットワークのジャコビアン解析に有効か？
• RQ4 広いネットワークにおいて、前活性化が重み行列から漸近的に自由になるための数学的条件は何か？
• RQ5 任意のニューラルネットワークアーキテクチャの漸近的挙動を捉える一般的なマスターテーブルをテンソルプログラム用に定式化可能か？

主な発見

• 自由独立性原理（FIP）が厳密に証明された：ランダムに初期化された広いニューラルネットワークにおいて、前活性化は自由確率論の意味で重み行列から漸近的に独立になる。
• FIPは、ジャコビアン特異値分布の計算に用いられてきた自由独立性仮定を正当化し、超深層ネットワークにおけるダイナミカル・アイソメトリを達成する上で不可欠な根拠を提供する。
• 提案されたテンソルプログラムのマスターテーブルは、半円則およびマルチェンコ＝パストール則を特別な場合として正確に再現し、ランダム行列理論の基本的結果に対するフレームワークの妥当性を検証した。
• 本フレームワークにより、構造的普遍性が確立された：FIPは、深さ、幅、活性化関数の種類にかかわらず、あらゆるニューラルネットワークアーキテクチャに成り立つ。
• 非線形変換（例：ReLU、tanh）に起因する残差項が、無限広さの極限においてモーメントが消えることを証明し、漸近的独立性を可能にする。
• 非線形的に依存する行列（例：深層ネットワークのジャコビアン）を含む行列積は、モーメントが消える成分に分解可能であることが示され、厳密な漸近的解析が可能になった。