[論文レビュー] Approximating Real-Time Recurrent Learning with Random Kronecker Factors

Asier Mujika, Florian Meier+1 more|arXiv (Cornell University)|May 28, 2018

Domain Adaptation and Few-Shot Learning被引用数 19

ひとこと要約

本稿では、Kronecker積分解を用いてリアルタイム再帰学習（RTRL）勾配を近似する、メモリ効率が良く、バイアスのないオンライン学習アルゴリズムKF-RTRLを提案する。安定した低ノイズ勾配を達成し、長時間系列タスクにおいてTBPTTと同等の性能を発揮する。これは、切り捨てバックプロパゲーション（TBPTT）の実用的代替手段を提供する。

ABSTRACT

Despite all the impressive advances of recurrent neural networks, sequential data is still in need of better modelling. Truncated backpropagation through time (TBPTT), the learning algorithm most widely used in practice, suffers from the truncation bias, which drastically limits its ability to learn long-term dependencies.The Real Time Recurrent Learning algorithm (RTRL) addresses this issue, but its high computational requirements make it infeasible in practice. The Unbiased Online Recurrent Optimization algorithm (UORO) approximates RTRL with a smaller runtime and memory cost, but with the disadvantage of obtaining noisy gradients that also limit its practical applicability. In this paper we propose the Kronecker Factored RTRL (KF-RTRL) algorithm that uses a Kronecker product decomposition to approximate the gradients for a large class of RNNs. We show that KF-RTRL is an unbiased and memory efficient online learning algorithm. Our theoretical analysis shows that, under reasonable assumptions, the noise introduced by our algorithm is not only stable over time but also asymptotically much smaller than the one of the UORO algorithm. We also confirm these theoretical results experimentally. Further, we show empirically that the KF-RTRL algorithm captures long-term dependencies and almost matches the performance of TBPTT on real world tasks by training Recurrent Highway Networks on a synthetic string memorization task and on the Penn TreeBank task, respectively. These results indicate that RTRL based approaches might be a promising future alternative to TBPTT.

研究の動機と目的

• 正確なRTRLの高い計算コストとメモリ要件が、切り捨てバイアスを解消できるにもかかわらず実用的利用を制限している問題に対処する。
• 既存のRTRL近似手法UOROが抱えるノイズの多い勾配問題を克服し、安定した学習と性能を実現する。
• 勾配のバイアスなしを維持しながらノイズを低減する、メモリ効率の良いオンライン学習アルゴリズムを構築する。
• 切り捨てバックプロパゲーションスルータイム（TBPTT）に依存せずに、再帰的ネットワークにおける長期間依存性の有効な学習を可能にする。

提案手法

• RTRLにおけるフィッシャー情報行列の近似にKronecker積分解を適用し、勾配計算を低ランク更新に削減する。
• 構造化された因子分解を用いて、計算量とストレージを著しく削減する一方で、完全な勾配計算経路を維持する。
• 各新しい時刻ステップに対してKronecker要因を段階的に更新することで、オンライン学習の能力を維持する。
• 因子化近似を通じて正確なRTRL更新方向を保持することにより、勾配のバイアスなしを保証する。
• Kronecker構造による近似誤差の制約により勾配ノイズを制御し、UOROと比較して漸近的に小さいノイズを達成する。
• 実験的評価のため、系列モデリングベンチマークで再帰的ハイウェイネットワークに本手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 Kronecker因子分解を用いて、メモリ効率が良く、バイアスのないRTRL勾配の近似を構築できるか？
• RQ2 提案手法KF-RTRLは、特に長期間の学習シーケンスにおいて、UOROと比較して勾配ノイズを低減するか？
• RQ3 KF-RTRLは再帰的ネットワークにおける長期間依存性を効果的に学習できるか、TBPTTの性能に近づけるか？
• RQ4 KF-RTRLは、言語モデリングや合成的記憶タスクを含む実世界の系列モデリングタスクで、どのように性能を発揮するか？

主な発見

• KF-RTRLはバイアスのない勾配推定を達成し、RTRLの理論的正確性を維持しながら計算コストを顕著に低減する。
• 理論的分析により、KF-RTRLの勾配ノイズはUOROと比較して時間経過とともに漸近的に小さく、より安定することが示された。
• 合成的ストリング記憶タスクにおいて、KF-RTRLは長期間依存性を的確に捉えることができ、延長されたシーケンスからの学習能力を示した。
• ペン・ツリーバンク言語モデリングタスクにおいて、KF-RTRLはTBPTTとほぼ同等の性能を達成し、実用的妥当性が裏付けられた。
• 正確なRTRLと比較して、KF-RTRLはメモリと実行時間の要件を低減し、大規模RNNにおけるオンライン学習を可能にした。
• 実験的結果により、理論的なノイズ低減が、UOROと比較してより安定的かつ効果的な学習に結びつくことが確認された。