[論文レビュー] Training Input-Output Recurrent Neural Networks through Spectral Methods

Hanie Sedghi, Anima Anandkumar|arXiv (Cornell University)|Mar 3, 2016

Model Reduction and Neural Networks参考文献 27被引用数 12

ひとこと要約

本稿では、高次モーメントテンソルとCP分解を活用してバックプロパゲーションを用いずにネットワーク重みを回復するためのスペクトル的手法を、入出力再帰的ニューラルネットワーク（RNN）の学習に提案する。2次モーメントの構造を活用し、計算効率を高めるためにテンソルスケッチを用いることで、弱い条件下でも正確な重み回復が保証され、隠れ状態のダイナミクスが低ランクでかつ入力重みがスパースである場合には正確な回復が達成される。

ABSTRACT

We consider the problem of training input-output recurrent neural networks (RNN) for sequence labeling tasks. We propose a novel spectral approach for learning the network parameters. It is based on decomposition of the cross-moment tensor between the output and a non-linear transformation of the input, based on score functions. We guarantee consistent learning with polynomial sample and computational complexity under transparent conditions such as non-degeneracy of model parameters, polynomial activations for the neurons, and a Markovian evolution of the input sequence. We also extend our results to Bidirectional RNN which uses both previous and future information to output the label at each time point, and is employed in many NLP tasks such as POS tagging.

研究の動機と目的

• 高次モーメントのスペクトル分解に基づく手法を開発することで、バックプロパゲーションを用いずに入出力RNNを学習する課題に取り組む。
• 弱い構造的仮定の下で、データのモーメントからRNNの重み（入力、隠れ、出力行列）を正確に回復可能にする。
• 高次モーメントテンソルの推定における計算ボトルネックを解消するため、テンソルスケッチを用いて計算複雑度を指数的から近線形にまで削減する。
• 特に隠れ状態のダイナミクスが低ランクであるような状況において、勾配ベース最適化の理論的裏付けのある代替手法を提供する。

提案手法

• 出力と状態変換の2次モーメントを、2次RNNの構造を活用して3次テンソルとしてモデル化する。
• 行方向のクロネッカー積と行列化を用いて、モーメントテンソルをテンソル分解に適した形に表現する。
• 対称化とテンソルパワー法を用いたCP分解により、元のネットワークパラメータに対応するランク1成分を回復する。
• 高次モーメントテンソルの明示的構築を回避するため、テンソルスケッチを活用し、計算コストを $ O(m^{l+1}) $ から $ O((m + m/log m)n) $ に削減する。
• 対称化と分解の後に、線形方程式系を解くことで入力-隠れ、隠れ-出力、再帰的重みを回復する。
• 再帰的重み行列の特異値が $ rac{1}{ ext{dim}(h)} $ のスケーリングを満たすことを要件とすることで、システム行列のフルカラムランクを保証する。

実験結果

リサーチクエスチョン

• RQ1 入出力RNNは、高次統計的モーメントを活用することで、バックプロパゲーションを用いずに学習可能か？
• RQ2 どのような条件下で、2次モーメントテンソルから2次RNNの重みを正確に回復できるか？
• RQ3 高次モーメントテンソルの推定にかかる計算コストを、回復精度を損なわず低減するにはどうすればよいか？
• RQ4 スペクトル的手法による正確な重み回復に必要な十分な構造的仮定（例：スパarsity、低ランクダイナミクス）は何か？

主な発見

• 入力-隠れ重み行列がスパースで、再帰的重み行列の特異値が $ rac{1}{ ext{dim}(h)} $ のスケーリングを満たす場合、本手法はRNN重みの正確な回復を達成する。
• 2次モーメント $ bE[y_t igotimes S_2(x_t)] $ が条件付き期待値 $ bE[y_t|x_t] $ のヘッシアンに等しいことが示され、パラメータ回復への直接的なリンクが確立される。
• テンソルスケッチにより、モーメント推定の計算複雑度が $ O(m^{l+1}) $ から $ O((m + m/log m)n) $ に削減され、スケーラブルな学習が可能になる。
• 行列 $ D = bE[y_t igotimes S_1(x_t)]^{-1} $ を用いた対称化により、非対称なRNN構造に対しても対称テンソル分解アルゴリズムを適応可能にする。
• 回復手順はノイズに強く、同じ分解フレームワークを再帰的に適用することで高次テンソルへ一般化可能である。
• アルゴリズム5による実験的検証により、提示された仮定の下で回復されたパラメータ $ A_1, A_2, U $ が真のネットワーク重みと一致することが確認された。