[論文レビュー] Feedforward and Recurrent Neural Networks Backward Propagation and Hessian in Matrix Form

Maxim Naumov|arXiv (Cornell University)|Sep 16, 2017

Neural Networks and Applications参考文献 28被引用数 8

ひとこと要約

この論文は、順方向および再帰的ニューラルネットワークにおける誤差逆伝播法とヘシアン行列の行列形式の定式化を提示する。重み勾配が $ t $ 時刻の間にランク-$ t $ 行列であるのに対し、ヘシアン行列はランク-1と $ W^TAW $ 型行列の $ t^2 $ 個のクロネッカー積の和として表現される。さらに、ミニバッチ更新はランク-$ rt $ であることが示され、ワイエルの定理と特異値不等式を用いてヘシアン行列の固有値の上限が導出される。

ABSTRACT

In this paper we focus on the linear algebra theory behind feedforward (FNN) and recurrent (RNN) neural networks. We review backward propagation, including backward propagation through time (BPTT). Also, we obtain a new exact expression for Hessian, which represents second order effects. We show that for $t$ time steps the weight gradient can be expressed as a rank-$t$ matrix, while the weight Hessian is as a sum of $t^{2}$ Kronecker products of rank-$1$ and $W^{T}AW$ matrices, for some matrix $A$ and weight matrix $W$. Also, we show that for a mini-batch of size $r$, the weight update can be expressed as a rank-$rt$ matrix. Finally, we briefly comment on the eigenvalues of the Hessian matrix.

研究の動機と目的

• 線形代数を用いて、順方向および再帰的ニューラルネットワークにおけるヘシアン行列の正確な行列式を導出すること。
• FNNおよびRNNの両方について、重み勾配と更新ルールをコン pact な行列形式で表現すること。
• クロネッカー積とランク-1成分としてのヘシアン行列の構造を分析すること。
• ワイエルの定理と特異値の性質を用いて、ヘシアン行列の固有値の上限を導出すること。
• ヘシアンと勾配の構造に基づいた、将来の最適化アルゴリズムの開発を可能にすること。

提案手法

• FNNおよびRNNにおける誤差逆伝播法と時間経過による誤差逆伝播（BPTT）を行列形式で導出する。
• RNNでは $ t $ 時刻にわたる重み勾配をランク-$ t $ 行列として表現し、FNNではランク-1として表現する。
• ヘシアン行列をランク-1行列と $ W^TAW $ 型項の $ t^2 $ 個のクロネッカー積の和として表現する。
• ワイエルの定理と特異値不等式を用いて、ヘシアン行列の固有値の上限を導出する。
• ヘシアンを分解し、そのスペクトル特性を分析するために補助的対称行列 $ B^{(k,t,s, heta)} $ を導入する。
• フロベニウスノルムに基づく損失関数を適用し、ミニバッチ更新をランク-$ rt $ 行列としてコン pact な表現で導出する。

実験結果

リサーチクエスチョン

• RQ1 順方向または再帰的ニューラルネットワークのヘシアン行列を正確な行列形式で表現する方法は何か？
• RQ2 RNNにおいて $ t $ 時刻にわたる重み勾配とヘシアン行列のランク構造は何か？
• RQ3 ヘシアン行列の固有値は、ネットワークの活性化パターンと重み行列の間でどのように関係するか？
• RQ4 ヘシアン行列をクロネッカー積などの構造的成分の和に分解できるか？
• RQ5 行列不等式を用いて、ヘシアン行列の固有値の最もタイトな上限は何か？

主な発見

• RNNにおいて $ t $ 時刻にわたる重み勾配はランク-$ t $ 行列であるのに対し、FNNではランク-1である。
• RNNにおいて $ t $ 時刻にわたるヘシアン行列は、ランク-1行列と $ W^TAW $ 行列の $ t^2 $ 個のクロネッカー積の和として表現される。
• サイズ $ r $ のミニバッチでは、重み更新がランク-$ rt $ 行列として表現され、低ランク近似が効率的に可能になる。
• ワイエルの定理と特異値不等式を用いてヘシアン行列の固有値の上限が導出され、その上限は活性化ノルムと小さな行列の固有値に依存する。
• ヘシアンの固有値は $ ho_{q}(H_w^{(k,t)}) riangleq ho_q(B^{(k,t)}) + \text{補正項} $ を満たし、補正項は $ ilde{C}^{(k,t,s, heta)} $ と活性化ノルムを用いて有界である。
• $ s = heta = t $ のとき、ヘシアン項 $ B^{(k,t)} $ の固有値は $ \text{span}\big(0, ||\textbf{z}^{(k-1,t)}||_2^2 \times \text{固有値 of } \tilde{C}^{(k,t,s,s)} \big) $ をとる。ゼロ固有値の重複度は $ (n-1)m $ である。