[論文レビュー] Invariance of Weight Distributions in Rectified MLPs

Russell Tsuchida, Farbod Roosta-Khorasani+1 more|arXiv (Cornell University)|Nov 24, 2017

Neural Networks and Applications参考文献 39被引用数 9

ひとこと要約

この論文は、深層ReLUおよびLeaky ReLU MLPの等価カーネルが、回転対称な重み分布のもとで回転に対して不変であることを確立し、従来のガウス分布に限定された結果を一般化している。零平均で3次のモーメントが有限である重み分布に対して、カーネルが漸近的にガウスカーネルに収束することを証明しており、深層ネットワークにおける学習の困難さを説明するとともに、最適な重み初期化戦略の根拠を提供する。

ABSTRACT

An interesting approach to analyzing neural networks that has received renewed attention is to examine the equivalent kernel of the neural network. This is based on the fact that a fully connected feedforward network with one hidden layer, a certain weight distribution, an activation function, and an infinite number of neurons can be viewed as a mapping into a Hilbert space. We derive the equivalent kernels of MLPs with ReLU or Leaky ReLU activations for all rotationally-invariant weight distributions, generalizing a previous result that required Gaussian weight distributions. Additionally, the Central Limit Theorem is used to show that for certain activation functions, kernels corresponding to layers with weight distributions having $0$ mean and finite absolute third moment are asymptotically universal, and are well approximated by the kernel corresponding to layers with spherical Gaussian weights. In deep networks, as depth increases the equivalent kernel approaches a pathological fixed point, which can be used to argue why training randomly initialized networks can be difficult. Our results also have implications for weight initialization.

研究の動機と目的

• 従来のニューラルネットワークの等価カーネルに関する研究を、ガウス分布に限定されてきたのを、すべての回転対称分布へ一般化すること。
• 重み初期化が深層ReLUおよびLeaky ReLUネットワークにおける等価カーネルに与える影響を分析すること。
• 深さが増加する際のカーネルの漸近的挙動を調べることで、深層ネットワークの学習における病理的挙動を説明すること。
• 非ガウス的重みを有する深層ネットワークにおいて勾配安定性を維持する重み初期化戦略の理論的裏付けを提供すること。

提案手法

• 重み空間上の積分表現を用いて、回転対称な重み分布を有する1層隠れ層のReLUまたはLeaky ReLU MLPの等価カーネルを導出する。
• 中心極限定理を適用し、零平均で3次のモーメントが有限である重み分布に対して、カーネルが球状ガウス重みのカーネルに漸近的に収束することを示す。
• 連続写像定理と一様可積分性を用いて、カーネル導出における極限と期待値の交換を正当化する。
• 深層ネットワークへの拡張として、深さの増加が等価カーネルを病理的固定点に近づけることを示す。
• カーネルの挙動を通じて、順伝播における情報損失を分析し、破壊的勾配問題の枠組みとは補完的な視点を提供する。
• カーネルが回転対称な重み分布に対して不変であることを確立し、従来のガウス重みに限定された結果を一般化する。

実験結果

リサーチクエスチョン

• RQ1 ReLUまたはLeaky ReLU MLPの等価カーネルは、ガウス分布に限定されない一般の回転対称な重み分布に対しても不変であるか？
• RQ2 深層ネットワークのカーネルは深さが増加する際にどのように振る舞い、固定点に収束するか？
• RQ3 非ガウス的重みを有するネットワークのカーネルは、漸近的にガウス重みネットワークのカーネルで近似可能か？
• RQ4 カーネル不変性の結果が、ReLU活性化関数を有する深層ネットワークにおける重み初期化に与える影響は何か？
• RQ5 カーネルの挙動は、深層ネットワークにおける勾配消失または爆発問題とどのように関係するか？

主な発見

• ReLUまたはLeaky ReLU MLPの等価カーネルは、回転対称な重み分布に対して不変であり、従来のガウス重みに限定された結果を一般化している。
• 零平均で絶対3次モーメントが有限である重み分布に対して、カーネルは漸近的に球状ガウス重みに対応するカーネルに収束する。
• 深層ネットワークにおいて、深さが増加するにつれて等価カーネルは病理的固定点に近づき、ランダム初期化された深層ネットワークの学習困難さを説明する。
• カーネル導出により、順伝播における情報損失の定量的分析が可能となり、破壊的勾配問題の枠組みとは補完的な視点を提供する。
• 非ガウス的重み分布を有する深層ReLUネットワークにおいて勾配安定性を維持する重み初期化戦略の理論的裏付けを提供する。
• やや厳しいモーメント条件のもとでカーネルが普遍的形に収束するという事実は、広大で深いReLUネットワークにおけるカーネルに基づく一般化の頑健性を示唆する。