[論文レビュー] Training recurrent networks online without backtracking

Yann Ollivier, Tallec, Corentin+1 more|arXiv (Cornell University)|Jul 28, 2015

Neural Networks and Applications参考文献 5被引用数 26

ひとこと要約

この論文は、時間遅れの誤差逆伝播（BPTT）を回避するスケーラブルなオンライン学習アルゴリズムNoBackTrackを紹介している。この手法は、全パラメータ勾配の確率的ランク1近似を用いて、勾配の不偏かつメモリレスな推定を維持することで、モデルサイズに線形にスケーリングする。長時間系列タスクでは、勾配のバックトラッキングなしに効率的でリアルタイムな学習を可能にし、Truncated BPTTを上回る性能を達成する。

ABSTRACT

We introduce the "NoBackTrack" algorithm to train the parameters of dynamical systems such as recurrent neural networks. This algorithm works in an online, memoryless setting, thus requiring no backpropagation through time, and is scalable, avoiding the large computational and memory cost of maintaining the full gradient of the current state with respect to the parameters. The algorithm essentially maintains, at each time, a single search direction in parameter space. The evolution of this search direction is partly stochastic and is constructed in such a way to provide, at every time, an unbiased random estimate of the gradient of the loss function with respect to the parameters. Because the gradient estimate is unbiased, on average over time the parameter is updated as it should. The resulting gradient estimate can then be fed to a lightweight Kalman-like filter to yield an improved algorithm. For recurrent neural networks, the resulting algorithms scale linearly with the number of parameters. Small-scale experiments confirm the suitability of the approach, showing that the stochastic approximation of the gradient introduced in the algorithm is not detrimental to learning. In particular, the Kalman-like version of NoBackTrack is superior to backpropagation through time (BPTT) when the time span of dependencies in the data is longer than the truncation span for BPTT.

研究の動機と目的

• 再帰的ネットワークにおける誤差逆伝播（BPTT）の計算およびメモリのオーバーヘッドを軽減し、オンラインかつメモリレスなトレーニングを可能にすること。
• 過去の状態および勾配の保存を不要にするために、完全な逆伝播を確率的かつ不偏な勾配近似に置き換えること。
• 大規模モデルでは計算が非現実的となる、全ジャコビアン行列 $ G(t) = \partial h(t)/\partial \theta $ を維持する必要がない、RTRLのスケーラブルな代替手法を開発すること。
• パラメータ空間における1つの探索方向のみを保持することで、動的システムにおける効率的なオンライン学習を可能にすること。
• 勾配推定をカルマンフィルタに統合し、パラメータの再パラメータ化に対して不変なパrameter更新を実現すること。

提案手法

• 全勾配 $ G(t) = \partial h(t)/\partial \theta $ のランク1確率的近似 $ \tilde{G}(t) $ を提案し、$ \tilde{G}(t) = \bar{v}\bar{w}^\top + \sum_i e_i w_i^\top $ として構築する。ここで、ベクトルは不偏性を保つようにランダムに抽出される。
• 各時刻で $ \mathbb{E}[\tilde{G}(t)] = G(t) $ を保証し、期待されるパラメータ更新が真の勾配方向と一致することを確実にする。
• マハラノビスノルムに基づく推定共分散を用いた、分散を最小化するスケーリング係数 $ \rho $ を導出するカルマンに類似したフィルタリング機構を用いてパラメータ $ \theta $ を更新する。
• 再パラメータ化不変性を維持しながら計算効率を確保するため、逆共分散行列 $ J_\theta^{-1} $ および $ J_h $ の対角近似を採用する。
• 推定された $ J_\theta^{-1} $ および $ J_h $ から導かれるノルムを用いて、最適なスケーリング係数 $ \bar{\rho} $ および $ \rho_i $ を計算し、低ランク分散最小化を実現する。
• スケーリング計算における逆行列および除算処理の数値的オーバーフローを防ぐために、分母に正則化を導入する。

実験結果

リサーチクエスチョン

• RQ1 時間遅れのバックトラッキングなしに、再帰的ネットワークに対して不偏かつメモリレスな勾配推定を構築できるか？
• RQ2 全勾配 $ G(t) $ の確率的ランク1近似が、効果的なオンライン学習に十分な精度を維持できるか？
• RQ3 カルマンに類似したフィルタリングフレームワークを、このような近似勾配に適応可能か？ かつ収束性および不変性の性質を保持できるか？
• RQ4 依存関係の時間スパンがBPTTの切断ウィンドウを上回る場合、NoBackTrackはTruncated BPTTに比べて性能に優れるか？
• RQ5 モデルサイズに線形にスケーリングできるか？ また、BPTTの $ \mathcal{O}(n^2) $ の複雑性と、RTRLの $ \mathcal{O}(n m) $ のメモリコストを回避できるか？

主な発見

• NoBackTrackアルゴリズムは、全勾配 $ G(t) $ の不偏推定を提供し、期待されるパラメータ更新が真の勾配方向と一致することを保証する。
• パラメータ数に線形にスケーリングされるため、BPTT や RTRL が計算的に非現実的となる大規模な再帰的ネットワークに対しても実用的である。
• 小規模な実験により、確率的勾配近似が学習性能に悪影響を及えないことが確認され、完全なBPTTと同等の収束特性を示した。
• カルマンに類似したバージョンのNoBackTrackは、依存関係の時間スパンがBPTTの切断ウィンドウを上回る場合、Truncated BPTTを上回る性能を発揮した。
• 推定共分散から導かれるマハラノビスノルムの使用により、再パラメータ化不変なスケーリングが可能となり、勾配推定のロバスト性と安定性が向上した。
• 逆共分散行列の対角近似を用いることで、完全な行列の保存および逆行列計算を回避し、計算効率を維持した。