[論文レビュー] Unbiasing Truncated Backpropagation Through Time

Corentin Tallec, Yann Ollivier|arXiv (Cornell University)|May 23, 2017

Topic Modeling参考文献 3被引用数 53

ひとこと要約

ARTBP は、補償係数を伴う確率的で可変長の切り捨てを導入し、切り捨て時 Backpropagation Through Time (BPTT) でのバイアスのない勾配推定を提供し、オンライン適用性を維持しつつ、標準的な切り捨て BPTT より収束を改善します。Penn Treebank の文字レベル言語モデルにおいて、ARTBP は切り捨て BPTT と比較して検証・テスト性能をわずかに向上させます。

ABSTRACT

Truncated Backpropagation Through Time (truncated BPTT) is a widespread method for learning recurrent computational graphs. Truncated BPTT keeps the computational benefits of Backpropagation Through Time (BPTT) while relieving the need for a complete backtrack through the whole data sequence at every step. However, truncation favors short-term dependencies: the gradient estimate of truncated BPTT is biased, so that it does not benefit from the convergence guarantees from stochastic gradient theory. We introduce Anticipated Reweighted Truncated Backpropagation (ARTBP), an algorithm that keeps the computational benefits of truncated BPTT, while providing unbiasedness. ARTBP works by using variable truncation lengths together with carefully chosen compensation factors in the backpropagation equation. We check the viability of ARTBP on two tasks. First, a simple synthetic task where careful balancing of temporal dependencies at different scales is needed: truncated BPTT displays unreliable performance, and in worst case scenarios, divergence, while ARTBP converges reliably. Second, on Penn Treebank character-level language modelling, ARTBP slightly outperforms truncated BPTT.

研究の動機と目的

• 切り捨て BPTT におけるバイアスの問題と、RNN の学習でバイアスのない勾配推定が必要であることを動機づける。
• 計算上の利点を保ちながらバイアスを排除する方法として ARTBP を導入する。
• バックプロパゲーションにおける確率的切り捨てを補正するリウェイティング方式を導出する。
• ARTBP における勾配推定の無偏性に関する理論的保証を提供する。
• 合成タスクと Penn Treebank の文字レベル言語モデリングで ARTBP を実証的に検証する。

提案手法

• トレーニング系列を、確率分布からサンプルされた可変長の切り捨てを持つサブシーケンスに分割する。
• 無偏性を保証するため、補正因子 1/(1 - c_t) を用いてバックプロパゲーション方程式を修正する（式11）。
• ARTBP 勾配推定量が無偏であることを証明する（命題1、式12-13）。
• メモリと分散のバランスを取るための切り捨て確率 c_t の選択方法を論じる（式14）。
• 各サブシーケンスごとに更新を行うオンライン実装を説明する（セクション5）。
• 合成タスクと Penn Treebank で ARTBP を切り捨て BPTT と比較する（セクション6）。

実験結果

リサーチクエスチョン

• RQ1 適切な補正を伴う確率的で可変長の切り捨ては、BPTT に対して無偏な勾配推定を生み出せるか。
• RQ2 ARTBP は固定長の切り捨て BPTT と比較して、メモリ使用量と勾配分散をどうトレードオフするか。
• RQ3 多タイムスケール依存性学習を要する合成タスクと実世界の言語モデリングで、ARTBP と切り捨て BPTT は性能に差があるか。
• RQ4 オンライン学習のための、ARTBP のバイアスと分散のトレードオフを最適化する実践的ガイドライン（例：c_t の選択）とは。
• RQ5 ARTBP は全シーケンスをさかのぼらずオンラインで適用可能か。

主な発見

• ARTBP は、可変長の切り捨てを用いても無偏の勾配推定を提供する。
• 合成テストでは、勾配バイアスにより切り捨て BPTT が発散することがある一方、ARTBP は安定して収束する。
• Penn Treebank の文字レベル言語モデリングでは、検証・テストの誤差で ARTBP が切り捨て BPTT をわずかに上回る。
• ARTBP は確率的切り捨てによる勾配分散を導入するが、メモリ需要を削減し、より長い有効なトレースを可能にする。
• 固定メモリ相当の切り捨て（L）は、平均サブシーケンス長が類似するように c_t を選んだ ARTBP と比較可能であるが、偏りのある状況では ARTBP が収束特性でしばしば優れる。