[論文レビュー] A Unified Framework of Online Learning Algorithms for Training Recurrent Neural Networks

Owen Marschall, Kyunghyun Cho+1 more|arXiv (Cornell University)|Jul 4, 2019

Machine Learning and ELM被引用数 24

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）のトレーニングに用いるオンライン学習アルゴリズムを分類・分析する統一的なフレームワークを提案する。このフレームワークは、過去/未来向け、テンソル構造、確率的/決定的更新、閉形式/数値的解法の4軸に沿って分類を行う。このフレームワークにより、多様なアルゴリズム間の概念的関係が明らかになり、正確な手法（例：RTRL や BPTT）との勾配整合性が性能を完全に予測しないことが示され、特に確率的アルゴリズムにおいて顕著である。これは、2点間の勾配類似度を超える、より良い評価指標の必要性を示唆する。

ABSTRACT

We present a framework for compactly summarizing many recent results in efficient and/or biologically plausible online training of recurrent neural networks (RNN). The framework organizes algorithms according to several criteria: (a) past vs. future facing, (b) tensor structure, (c) stochastic vs. deterministic, and (d) closed form vs. numerical. These axes reveal latent conceptual connections among several recent advances in online learning. Furthermore, we provide novel mathematical intuitions for their degree of success. Testing various algorithms on two synthetic tasks shows that performances cluster according to our criteria. Although a similar clustering is also observed for gradient alignment, alignment with exact methods does not alone explain ultimate performance, especially for stochastic algorithms. This suggests the need for better comparison metrics.

研究の動機と目的

• RNNのオンライン学習アルゴリズムを体系的かつ概念的根拠に基づいて分類・比較するフレームワークを提供すること。
• 近年急増したオンラインRNNトレーニング手法の間の概念的違いを明確にし、統一的な分類法が欠如している状況を解消すること。
• RTRL や BPTT といった正確な手法と弱い勾配整合性を示すにもかかわらず、特定のアルゴリズムが優れた性能を発揮する理由を調査すること。
• オンラインRNNトレーニングで高い性能を発揮するためには、正確なアルゴリズムとの強い勾配整合性が必須であるという仮定を疑うこと。
• 現在の評価指標の限界を特定し、時刻別の勾配類似度に代わる、軌道に基づく比較手法の導入を提唱すること。

提案手法

• フレームワークは、(a) 過去対向 vs. 未来対向、(b) 影響行列のテンソル構造、(c) 確率的 vs. 決定的更新、(d) 閉形式 vs. 数値的解法の4軸に沿ってオンラインRNNトレーニングアルゴリズムを分類する。
• 勾配計算を表現するためにテンソル分解アプローチを用い、RTRL、UORO、KF-RTRL、DNI、KeRNL などのアルゴリズムを体系的に比較可能にする。
• 2つの合成タスクを用いた実験的評価を行い、正確な手法（RTRL および F-BPTT）とのパフォーマンスと勾配整合性を測定する。
• 勾配類似度はペアワイズの角距離で定量化され、パフォーマンスは学習軌道と最終損失によって評価される。
• フレームワークにより、異なるカテゴリの性質を組み合わせた新規アルゴリズムの設計が可能となり、3.4節でその有効性が示されている。
• 決定的近似と確率的近似を対比し、誤差の平均化が、瞬時の勾配整合性が悪い状況でも収束を可能にするメカニズムを分析する。

実験結果

リサーチクエスチョン

• RQ1 異なるオンラインRNNトレーニングアルゴリズムは、概念的にどのように関係し合い、それらを統一的に分類するための変動軸は何か？
• RQ2 RTRL など正確な手法と弱い勾配整合性を示すにもかかわらず、UORO や R-KF-RTRL といった確率的オンラインアルゴリズムが優れた性能を発揮する理由は何か？
• RQ3 正確なアルゴリズム（RTRL や BPTT）との勾配整合性は、オンラインRNNトレーニングにおける最終的学習パフォーマンスをどの程度まで予測できるか？
• RQ4 正確な勾配と良好に整合するにもかかわらず、KeRNL といった決定的近似は、確率的対応物に比べて性能が劣る理由は何か？
• RQ5 現在の評価指標（時刻別勾配類似度に基づくもの）の限界は何か？どのような代替指標が必要か？

主な発見

• アルゴリズムは提案された分類軸に沿って意味的にまとまり、過去対向手法はRTRLと強く整合し、未来対向手法はF-BPTTと整合する。これはフレームワークの概念的整合性を裏付ける。
• RTRL と強い勾配整合性を示すにもかかわらず、KeRNL はパフォーマンスが著しく劣る。これは、勾配整合性だけではパフォーマンスを予測できないことを示し、特に決定的近似において顕著である。
• UORO や R-KF-RTRL は、RTRL との瞬時の勾配整合性が弱くても優れた性能を発揮する。これは、時間経過による誤差の平均化が、ノイズの多い推定値でも収束を可能にするためである。
• UORO や R-KF-RTRL といった確率的アルゴリズムは、時刻別に見ると類似度が低いにもかかわらず、長期間にわたる不偏推定値の平均化により高いパフォーマンスを維持する。一方、決定的近似では誤差が蓄積され続け、性能が劣る。
• フレームワークにより、オンラインアルゴリズムにおける局所性がしばしば近似の副産物であることが明らかになり、より良いパフォーマンスはアルゴリズムとアーキテクチャの共同設計から生まれる可能性がある。
• 評価における重要なギャップが特定された：現在の勾配類似度ベースの指標は、長期的な学習軌道の違いを捉えていない。これには、新たな軌道ベースの比較手法の導入が不可欠である。