[論文レビュー] Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group.

Qianyi Li, Haim Sompolinsky|arXiv (Cornell University)|Dec 7, 2020

Neural Networks and Applications被引用数 4

ひとこと要約

本稿では、出力層から入力層へと層別に重み空間を統合することで、深層線形ニューラルネットワーク（DLNNs）における学習を解析する正確な統計力学的枠組み、バックプロパゲーティング再正規化群（BPRG）を導入する。線形性にもかかわらず、DLNNsは非線形的学習ダイナミクスを示し、驚くべきことに、理論の予測は浅いReLUネットワークに対しても良好に成り立つ。これは、深層学習における重み空間に対する最初の正確なRGベースの解析である。

ABSTRACT

The success of deep learning in many real-world tasks has triggered an effort to theoretically understand the power and limitations of deep learning in training and generalization of complex tasks, so far with limited progress. In this work, we study the statistical mechanics of learning in Deep Linear Neural Networks (DLNNs) in which the input-output function of an individual unit is linear. Despite the linearity of the units, learning in DLNNs is highly nonlinear, hence studying its properties reveals some of the essential features of nonlinear Deep Neural Networks (DNNs). We solve exactly the network properties following supervised learning using an equilibrium Gibbs distribution in the weight space. To do this, we introduce the Back-Propagating Renormalization Group (BPRG) which allows for the incremental integration of the network weights layer by layer from the network output layer and progressing backward. This procedure allows us to evaluate important network properties such as its generalization error, the role of network width and depth, the impact of the size of the training set, and the effects of weight regularization and learning stochasticity. Furthermore, by performing partial integration of layers, BPRG allows us to compute the emergent properties of the neural representations across the different hidden layers. We have proposed a heuristic extension of the BPRG to nonlinear DNNs with rectified linear units (ReLU). Surprisingly, our numerical simulations reveal that despite the nonlinearity, the predictions of our theory are largely shared by ReLU networks with modest depth, in a wide regime of parameters. Our work is the first exact statistical mechanical study of learning in a family of Deep Neural Networks, and the first development of the Renormalization Group approach to the weight space of these systems.

研究の動機と目的

• 深層ニューラルネットワークにおける学習を理解するための正確な統計力学的枠組みの構築を目的とする。
• 一般化誤差に及ぼす深さ、幅、訓練データサイズ、正則化の役割を分析することを目的とする。
• 隠れ層における表現の出現を段階的重み統合を通じて探求することを目的とする。
• 線形ネットワークからの知見を、ヒューリスティックなBPRGに基づく手法により非線形ReLUネットワークへと拡張することを目的とする。
• 再正規化群を深層学習システムの重み空間を分析するためのツールとして確立することを目的とする。

提案手法

• 出力層から出発して層別に重み空間を統合するバックプロパゲーティング再正規化群（BPRG）を提案する。
• 教師あり学習におけるDLNNsのモデル化に、重み空間上の均衡ギブス分布を用いる。
• 層の段階的部分統合を実行し、隠れ層における出現的表現を計算する。
• 一般化誤差、重み分布、ネットワーク容量の正確な式を導出する。
• 線形フレームワークを非線形活性化効果に適応することで、ReLUネットワークへのBPRGのヒューリスティックな拡張を実施する。
• さまざまなハイパーパrameterの範囲でReLUネットワークの予測を検証するために、数値シミュレーションを用いる。

実験結果

リサーチクエスチョン

• RQ1 ネットワークの深さと幅は、深層線形ネットワークにおける一般化誤差にどのように影響するか？
• RQ2 訓練データサイズと重み正則化は、学習ダイナミクスにどのような役割を果たすか？
• RQ3 深層線形ネットワークにおける隠れ層間で出現的表現はどのように進化するか？
• RQ4 線形BPRGフレームワークからの予測は、非線形ReLUネットワークへどの程度適合するか？
• RQ5 再正規化群は、深層ニューラルネットワークの重み空間に対して体系的に適用可能か？

主な発見

• BPRGフレームワークにより、深層線形ネットワークにおける一般化誤差と重み分布を正確に計算可能である。
• ネットワークの幅と深さは、有効な容量と一般化性能に顕著な影響を及ぼし、RGフローから最適スケーリングが導かれる。
• 訓練データサイズは、ギブス分布における有効温度を調整し、学習の安定性に影響を与える。
• 重み正則化は、高周波数の重みモードを抑制し、制御された方法で一般化性能を向上させる。
• 非線形性にもかかわらず、BPRGの予測は、特に浅いアーキテクチャにおいて、広いパrameter範囲で正確に成り立つ。
• 本研究は、再正規化群アプローチを用いた、深層ニューラルネットワークにおける学習の最初の正確な統計力学的解析を確立した。