[論文レビュー] Fisher Information and Natural Gradient Learning of Random Deep Networks

Шун-ичи Амари, Ryo Karakida+1 more|arXiv (Cornell University)|Aug 22, 2018

Stochastic Gradient Optimization Techniques参考文献 5被引用数 20

ひとこと要約

本稿では、平均場近似の下でフィッシャー情報行列の正確な逆行列を導出することにより、ランダムな深層ニューラルネットワークにおける自然勾配を明示的に解析的に計算する手法を提案する。フィッシャー行列が近似的にユニット単位のブロック対角構造をとることを証明し、数値的行列逆行列計算を回避することで、特にReLU活性化関数を用いた残差ネットワークにおいて、効率的な自然勾配学習を可能にする。

ABSTRACT

A deep neural network is a hierarchical nonlinear model transforming input signals to output signals. Its input-output relation is considered to be stochastic, being described for a given input by a parameterized conditional probability distribution of outputs. The space of parameters consisting of weights and biases is a Riemannian manifold, where the metric is defined by the Fisher information matrix. The natural gradient method uses the steepest descent direction in a Riemannian manifold, so it is effective in learning, avoiding plateaus. It requires inversion of the Fisher information matrix, however, which is practically impossible when the matrix has a huge number of dimensions. Many methods for approximating the natural gradient have therefore been introduced. The present paper uses statistical neurodynamical method to reveal the properties of the Fisher information matrix in a net of random connections under the mean field approximation. We prove that the Fisher information matrix is unit-wise block diagonal supplemented by small order terms of off-block-diagonal elements, which provides a justification for the quasi-diagonal natural gradient method by Y. Ollivier. A unitwise block-diagonal Fisher metrix reduces to the tensor product of the Fisher information matrices of single units. We further prove that the Fisher information matrix of a single unit has a simple reduced form, a sum of a diagonal matrix and a rank 2 matrix of weight-bias correlations. We obtain the inverse of Fisher information explicitly. We then have an explicit form of the natural gradient, without relying on the numerical matrix inversion, which drastically speeds up stochastic gradient learning.

研究の動機と目的

• 深層ネットワークにおける全フィッシャー情報行列の逆行列計算が計算的に非現実的であるという問題に取り組む。
• 従来の自然勾配手法で用いられる準対角近似の正当性を裏付ける。
• ガウス入力仮定の下で、ユニット卹のフィッシャー情報行列の明示的・閉形式での逆行列を導出する。
• ブロック対角構造を活用することで、数値的行列逆行列計算を回避し、効率的な自然勾配学習を実現する。
• 平均場解析を用いて、ReLU活性化関数を有する残差ネットワークへのこの手法の拡張を図る。

提案手法

• i.i.d. ガウス重み・バイアスを有するランダムな深層ネットワークにおけるフィッシャー情報行列を、統計的ニューロダイナミカル手法と平均場近似を用いて分析する。
• フィッシャー行列が、ユニット単位のブロック対角構造をとることを証明し、非対角項が $1/\sqrt{n}$ のオーダーであることを示す。ここで $n$ は層ごとのニューロン数を表す。
• 単一ニューロンにおけるフィッシャー情報行列の正確な形を、対角行列と重み-バイアス相関を捉えるランク2行列の和として導出する。
• ユニット卹のフィッシャー行列の逆行列を明示的に計算し、数値的逆行列計算を回避することで、高速な自然勾配更新を可能にする。
• 導出された逆行列を応用し、ReLU活性化関数を有する残差ネットワーク向けの計算効率の良い自然勾配学習アルゴリズムを設計する。
• 各層への入力が、残差接続におけるランダムな線形変換のおかげで近似的にi.i.d.標準ガウス分布に従うという仮定の下で、手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 ランダムな深層ネットワークにおけるフィッシャー情報行列は、効率的な自然勾配学習を可能にするような近似が可能か？
• RQ2 ガウス入力仮定の下で、単一ニューロンのフィッシャー情報行列の構造的形態は何か？
• RQ3 大規模なランダムネットワークにおいて、ユニット単位のブロック対角近似は成り立つのか？その理由は何か？
• RQ4 ユニット単位のフィッシャー情報行列の逆行列は、数値的逆行列計算を用いずに明示的に計算可能か？
• RQ5 平均場近似は、残差ネットワークにおける準対角自然勾配手法の有効性をどのように正当化するか？

主な発見

• 大規模なランダムな深層ネットワークにおけるフィッシャー情報行列は、近似的にユニット単位のブロック対角構造をとる。非対角項は $1/\sqrt{n}$ のオーダーであり、準対角近似の正当性が裏付けられる。
• ガウス入力仮定の下で、単一ニューロンのフィッシャー情報行列は、対角行列とランク2行列（重み-バイアス相関を表す）の和に簡略化される。
• ユニット単位のフィッシャー情報行列の逆行列が閉形式で明示的に計算可能であり、行列逆行列計算を回避することで自然勾配の直接計算が可能になる。
• 本手法は、ReLU活性化関数を有する残差ネットワークにおいて特に有効であり、各層への入力がランダムな線形変換のおかげで近似的にi.i.d.標準ガウス分布に従うためである。
• 導出された自然勾配更新則は計算的に効率的であり、全フィッシャー行列の逆行列計算の高コストを回避する。
• 理論的枠組みは、TANGOなどの適応的自然勾配法における速度ベクトルの初期化に基盤を提供する。