[論文レビュー] On the Variance of Unbiased Online Recurrent Optimization

Tim Cooijmans, James Martens|arXiv (Cornell University)|Feb 6, 2019

Machine Learning and ELM参考文献 26被引用数 6

ひとこと要約

この論文は、オンライン学習のための再帰的ニューラルネットワーク（RNN）のためのUnbiased Online Recurrent Optimization（uoro）アルゴリズムの分散を分析し、勾配推定の精度を向上させる、新しい行列ベースの分散低減技術を提案する。この手法は、uoroで用いられるランダム射影の構造を最適化することで分散を低減し、uoroとノイズを注入したREINFORCE推定器との間の理論的関係を確立する。

ABSTRACT

The recently proposed Unbiased Online Recurrent Optimization algorithm (UORO, arXiv:1702.05043) uses an unbiased approximation of RTRL to achieve fully online gradient-based learning in RNNs. In this work we analyze the variance of the gradient estimate computed by UORO, and propose several possible changes to the method which reduce this variance both in theory and practice. We also contribute significantly to the theoretical and intuitive understanding of UORO (and its existing variance reduction technique), and demonstrate a fundamental connection between its gradient estimate and the one that would be computed by REINFORCE if small amounts of noise were added to the RNN's hidden units.

研究の動機と目的

• 長時間または不定長のシーケンスにおいて、オンライン再帰的学習の勾配推定における高い分散の課題に対処すること。
• RNNのための不偏オンライン勾配推定を提供するuoroアルゴリズムの効率性と安定性を向上させること。
• uoroの勾配推定メカニズムと、既存の分散低減法の背後にある理論的・直感的な理解を深めること。
• uoroと他のポリシー勾配法（特に、隠れ状態に摂動を加えたREINFORCE）との関係を調査すること。
• 構造的制約下でのuoro風勾配推定器の分散を分析・最小化するフレームワークの構築。

提案手法

• 自動微分とRNNにおける責任帰属の原則に基づいて、uoroアルゴリズムの新しい、より直感的な定式化を導出する。
• uoroの分散低減におけるスカラ係数を行列値変換に拡張することで、勾配相関をよりよく捉える。
• 時間経過に伴うuoro勾配推定値の累積分散を計算する理論的フレームワークを構築し、体系的な分析を可能にする。
• 提案されたフレームワーク内での閉形式解を用いて、構造的制約下での最適分散低減行列を導出する。
• 重み勾配のランク1構造を活用するuoroの変種を提案し、隠れユニット数に比例する要因で分散を低減する。
• RNN隠れユニットに小さなノイズを追加した場合に、uoroとREINFORCE推定器との間の正式な関係を確立し、ノイズの徐々な減少（annealing）条件下でREINFORCE推定器がuoro推定器に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 uoro勾配推定器の分散はシーケンス長にどのように依存するか。また、その不安定性に寄与する構造的要因は何か。
• RQ2 スカラ係数を行列値変換に置き換えることで、uoroに既存の分散低減法を改善できるか。
• RQ3 RNN隠れユニットにノイズを注入した場合、uoroとREINFORCEポリシー勾配推定器との根本的関係は何か。
• RQ4 実際の応用において、uoroの分散は、標準的な時間遡及バックプロパゲーション（BPTT）やリアルタイム再帰的学習（RTRL）と比べてどうなるか。
• RQ5 RNN重み勾配のランク1構造を活用することで、計算コストを著しく増加させることなく、分散が低いuoroの変種を設計できるか。

主な発見

• 提案された行列ベースの分散低減技術は、勾配推定値の共分散構造をよりよく捉えることで、理論的および実験的にuoroの勾配分散を顕著に低減する。
• uoroの分散は、ノイズを注入したREINFORCE推定器と解析的に関連づけられ、ノイズの徐々な減少条件下では、REINFORCE推定器がuoro推定器に収束し、平均ゼロの項（分散が無限大に発散する）を加える形で収束することが示された。
• 重み勾配のランク1性質を活用するuoroの変種は、隠れユニット数に比例する要因で分散を低減するが、計算時間も同程度に増加する。
• 開発された理論的フレームワークにより、時間経過に伴うuoro風推定器の総分散を正確に計算可能となり、構造的制約下での分散低減行列の最適化が可能になった。
• 実験的評価により、新しい分散低減法が、元のuoroおよびベースライン手法と比較して、訓練の安定性と収束速度の両方を向上させることを確認した。
• 分析により、元のuoroで用いられるスカラ係数は最適でないことが判明し、行列への拡張により真の勾配構造により適切に一致することが示された。