[論文レビュー] Unbiased Online Recurrent Optimization

Corentin Tallec, Yann Ollivier|arXiv (Cornell University)|Feb 16, 2017

Stochastic Gradient Optimization Techniques被引用数 3

ひとこと要約

本稿では、過去の活性化を再走行しないことで、証明可能に不偏な勾配推定を提供するメモリレスでオンライン学習可能な再帰的ニューラルネットワーク用のアルゴリズムであるUnbiased Online Recurrent Optimization（UORO）を紹介する。逆伝播を途中で切り詰めた手法（truncated BPTT）とは異なり、短時間依存性と長時間依存性が矛盾するタスクにおいても発散を回避し、収束を保証する。合成タスク（$a^n b^n$ や遠く離れた括弧）においても、最小限の計算コストでほぼ最適性能を達成する。

ABSTRACT

The novel Unbiased Online Recurrent Optimization (UORO) algorithm allows for online learning of general recurrent computational graphs such as recurrent network models. It works in a streaming fashion and avoids backtracking through past activations and inputs. UORO is computationally as costly as Truncated Backpropagation Through Time (truncated BPTT), a widespread algorithm for online learning of recurrent networks. UORO is a modification of NoBackTrack that bypasses the need for model sparsity and makes implementation easy in current deep learning frameworks, even for complex models. Like NoBackTrack, UORO provides unbiased gradient estimates; unbiasedness is the core hypothesis in stochastic gradient descent theory, without which convergence to a local optimum is not guaranteed. On the contrary, truncated BPTT does not provide this property, leading to possible divergence. On synthetic tasks where truncated BPTT is shown to diverge, UORO converges. For instance, when a parameter has a positive short-term but negative long-term influence, truncated BPTT diverges unless the truncation span is very significantly longer than the intrinsic temporal range of the interactions, while UORO performs well thanks to the unbiasedness of its gradients.

研究の動機と目的

• 逆伝播を途中で切り詰めた手法による勾配推定の不偏性欠如に起因する、オンライン再帰的学習における収束保証の欠如を解消すること。
• 過去の活性化を保存せず、モデルのスケーラビリティとブラックボックス互換性を保ちながら、複雑な再帰的モデルのオンライン学習を可能にするアルゴリズムの開発。
• ストリーミング形式で不偏な勾配推定を実現し、確率的勾配降下法の理論的収束保証を維持すること。
• 不偏な勾配推定が、逆伝播を途中で切り詰めた手法が失敗または発散するような状況でも信頼性のある学習を可能にすることを実証すること。

提案手法

• UOROは、過去のタイムステップを再走行しないノイズを含む不偏サンプリング機構を用いて勾配推定を実行する。
• 不偏勾配を保証するためのNoBackTrack（NBT）の変種を活用するが、深層学習フレームワークにおけるブラックボックス実装を念頭に再定式化している。
• データは順番に1サンプルずつ処理され、現在の順方向伝搬を除き、過去の入力や隠れ状態を記憶しない。
• 勾配推定は、将来のトラジェクトリの分布からのサンプリングを用いた確率的近似によって行われ、不偏性が維持される。
• 計算コストは逆伝播を途中で切り詰めた手法と同等であり、リアルタイムおよびストリーミング応用に適している。
• GRU や LSTM を含む任意の再帰的アーキテクチャを、アーキテクチャの変更なしにサポートする。

実験結果

リサーチクエスチョン

• RQ1 モデルのスパarsityや複雑な実装を要せず、オンライン再帰的学習アルゴリズムが不偏な勾配推定を達成できるか。
• RQ2 不偏な勾配推定が、短時間依存性と長時間依存性が矛盾するタスクにおいて信頼性のある収束をもたらすか。
• RQ3 逆伝播を途中で切り詰めた手法が発散または悪い局所最適解に収束する状況において、UOROがそれを上回る性能を示せるか。
• RQ4 アーキテクチャの変更なしに、既存の深層学習フレームワークへの統合が容易でスケーラブルなアルゴリズムか。

主な発見

• $a^n b^n(1,32)$ データセットにおいて、LSTMを用いたUOROはテスト損失が0.147ビット/文字、GRUでは0.155に達し、真のエントロピー率（0.14 bpc）に近づいた。
• 遠く離れた括弧タスク（s=1, k=5, a=10）において、UOROは長期的に4ステップ切り詰めのBPTTを上回り、ほぼ最適な振る舞いを示したのに対し、切り詰めBPTTは停滞または遅く学習していた。
• 16ステップ切り詰めの逆伝播を用いたBPTTは、LSTMで0.144 bpc、GRUで0.207 bpcを達成したが、GRUでは不偏勾配の影響により収束が不安定だった。
• UOROは、すべての設定において一貫して収束した。また、内在的な時間的範囲を超えて範囲を拡大しても同様に収束したため、不偏推定そのものが収束に十分であることが示された。
• 学習率スケジューリングに対してUOROの性能は頑健であり、減少する学習率が収束を可能にした。これに対して、逆伝播を途中で切り詰めた手法は、同様の設定でもしばしば発散した。