[論文レビュー] Training Language Models Using Target-Propagation

Sam Wiseman, Sumit Chopra+5 more|arXiv (Cornell University)|Feb 15, 2017

Topic Modeling参考文献 21被引用数 8

ひとこと要約

本論文は、再帰的言語モデルの学習において、隠れ状態を明示的な最適化変数として扱うことで、BPTTにおける勾配切断を回避し、並列化を可能にするTarget Propagation（TPROP）の手法を調査する。理論的には優位性があるが、実験では一般化性能においてBPTTに劣ることが判明し、これは制約のない隠れ状態最適化に起因する。TPROPが系列モデルで成功するためには、追加の制約が必要である可能性が示唆される。

ABSTRACT

While Truncated Back-Propagation through Time (BPTT) is the most popular approach to training Recurrent Neural Networks (RNNs), it suffers from being inherently sequential (making parallelization difficult) and from truncating gradient flow between distant time-steps. We investigate whether Target Propagation (TPROP) style approaches can address these shortcomings. Unfortunately, extensive experiments suggest that TPROP generally underperforms BPTT, and we end with an analysis of this phenomenon, and suggestions for future work.

研究の動機と目的

• RNN言語モデルの学習における逐次的性質と、切り捨てられたBPTTによる勾配切断問題を解決すること。
• Target Propagation（TPROP）が、RNNの並列学習を可能にし、長期依存性学習を改善できるかどうかを評価すること。
• TPROPが勾配伝搬の切断を回避することで、BPTTよりも一般化性能が向上するかどうかを調査すること。
• TPROPが実際にはなぜBPTTに劣るのかを分析し、性能向上に寄与する可能性のある制約を同定すること。

提案手法

• 隠れ状態 $ h_t $ を再帰的に計算するのではなく、最適化すべき明示的な変数として扱うことで、RNNの学習を定式化する。
• 予測損失 $ \ell(f(\hat{h}_t), y_t) $ と再構成ペナルティ $ C(\hat{h}_t, h_t) $ を含む損失関数を導入し、再帰関係 $ \hat{h}_t = g(x_t, h_{t-1}) $ に整合性を保つようにする。
• 交互最適化のスキームを採用：パラメータ $ \theta $ を固定した上で $ h_t $ を更新し、次に $ \theta $ を固定した上で $ h_t $ を更新する。この更新回数は $ \mathcal{H} $-ステップで制御される。
• バッチ版とミニバッチ版のTPROPを適用し、各ミニバッチで $ h_t $ を直前の $ \hat{h}_t $ に初期化することで一貫性を維持する。
• 隠れ状態最適化の正則化と一般化性能の向上を目的に、$ L_2 $ ペナルティ $ \lambda \| \hat{h}_t - h_t \|_2^2 $ を導入する。
• パープレキシティを指標として用い、Penn Treebank（PTB）やText8を含む複数の言語モデルベンチマークで、TPROPとBPTTの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 Target Propagation（TPROP）は、BPTTの逐次的依存性を回避しつつ、RNN言語モデルの学習を効果的に行えるか？
• RQ2 TPROPは、切り捨てられたBPTTと比較して、より長い範囲の勾配伝搬を可能にすることで一般化性能を向上させるか？
• RQ3 並列化と勾配伝搬の面で理論的に優位性を持つにもかかわらず、なぜTPROPは実際にはBPTTに劣るのか？
• RQ4 隠れ状態最適化に追加の制約を課すことで、TPROPの性能を向上させ、BPTTとの差を埋められるか？

主な発見

• バッチ版TPROPはバッチ版BPTTと同等の訓練損失を達成するが、一般化性能は著しく劣り、訓練損失の最適化は達成されているものの一般化能力に欠けることが示された。
• ミニバッチ版TPROPは、$ \mathcal{H} $-ステップを1に設定した場合にのみ、BPTTと同等の一般化性能を達成し、これはTPROPが実質的にBPTTに還元されることを意味する。
• TPROPの性能劣化は、隠れ状態最適化が制約のない状態であることに起因しており、一般化性能が低い低損失状態が探索されやすくなる。
• 実験では、損失関数における$ L_2 $ペナルティがミニバッチ版TPROPでわずかな性能向上をもたらしたが、これは長距離依存性学習の効果ではなく、正則化効果によるものである。
• 隠れ状態の次元数が増加するにつれて、BPTTの性能がTPROPに対して相対的に向上する傾向が示され、TPROPが高次元空間における正則化のない最適化に苦労しているという仮説を支持する。
• 図3は、小さな隠れ状態ではBPTTがTPROPを上回るが、次元数が増加するにつれて差が縮まる傾向を示しており、TPROPが大規模モデルではより強い制約を必要とすることが示唆される。