[論文レビュー] Predictive-State Decoders: Encoding the Future into Recurrent Networks

Arun Venkatraman, Nicholas Rhinehart+6 more|arXiv (Cornell University)|Sep 25, 2017

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 12

ひとこと要約

本論文では、将来の観測値を予測するために内部状態に直接的监督を加えることで、再帰的ニューラルネットワーク（RNN）の性能を向上させる予測状態デコーダー（Psd）を提案する。将来の予測に基づく単純な正則化損失を組み込むことで、確率的フィルタリング、模倣学習、強化学習の分野において、反復回数とデータ量を減らしながらも、訓練収束性と性能が向上し、TRPOに基づく強化学習環境を含むベンチマークタスクで最先端の結果を達成した。

ABSTRACT

Recurrent neural networks (RNNs) are a vital modeling technique that rely on internal states learned indirectly by optimization of a supervised, unsupervised, or reinforcement training loss. RNNs are used to model dynamic processes that are characterized by underlying latent states whose form is often unknown, precluding its analytic representation inside an RNN. In the Predictive-State Representation (PSR) literature, latent state processes are modeled by an internal state representation that directly models the distribution of future observations, and most recent work in this area has relied on explicitly representing and targeting sufficient statistics of this probability distribution. We seek to combine the advantages of RNNs and PSRs by augmenting existing state-of-the-art recurrent neural networks with Predictive-State Decoders (PSDs), which add supervision to the network's internal state representation to target predicting future observations. Predictive-State Decoders are simple to implement and easily incorporated into existing training pipelines via additional loss regularization. We demonstrate the effectiveness of PSDs with experimental results in three different domains: probabilistic filtering, Imitation Learning, and Reinforcement Learning. In each, our method improves statistical performance of state-of-the-art recurrent baselines and does so with fewer iterations and less data.

研究の動機と目的

• 真の潜在状態が入手できない状況において、RNNが意味のある内部状態表現を学習する課題に対処すること。
• 将来の観測値の予測を用いて内部状態を直接的に監視することで、RNNの訓練安定性と性能を向上させること。
• RNNと予測状態表現（PSR）の長所を統合し、将来の予測を訓練目的に組み込むこと。
• アーキテクチャの変更なしに、順序付きモデリングタスクにおける収束速度の向上と最終的性能の向上を実現すること。
• 既存のRNNパイプラインに容易に統合できる「即挿し」型の正則化手法を提供すること。

提案手法

• 内部隠れ状態を将来の観測値の確率分布にマップする予測状態デコーダーヘッドを、既存のRNNに追加する。
• 同じ入力系列を用いて、将来の観測系列に対する教師あり損失を用いてデコーダーを訓練する。
• ハイパーパrameter λ がその重みを制御するように、デコーダー損失を主な訓練目的に正則化として統合する。
• 観測値を予測に適した表現に変換するための特徴関数 φ(x) を使用し、実験では恒等写像と2次特徴を用いた。
• コアネットワークを変更せずに、LSTM、GRU、基本RNNなどのさまざまなRNNアーキテクチャと、フィルタリング、模倣学習、強化学習などのタスクに適用する。
• バックプロパゲーションを用いて、主タスク損失と予測状態デコーダー損失を同時に最適化し、エンドツーエンドの訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 将来の観測値予測に対する直接的監視が、RNNの内部状態表現の質を向上させるか？
• RQ2 予測状態監視を組み込むことで、順序付きモデリングタスクにおける収束速度と最終的性能が向上するか？
• RQ3 Psdは、確率的フィルタリング、模倣学習、強化学習など多様な分野に効果的に適用可能か？
• RQ4 Psdは、標準的なRNN訓練と比較して、データの効率性と分散低減の点で優れているか？
• RQ5 LSTM、GRU、基本RNNユニットを含む、さまざまなRNNアーキテクチャに一般化可能か？

主な発見

• 強化学習において、PsdはWalker2dで平均報酬を15.4%（p < 0.005）向上させ、Hopperでは9.06%向上させ、40%のモデルが最良のベースラインを上回った。
• HalfCheetahでは、平均報酬に対して13.0%の相対的改善（p < 0.05）を達成し、実行間の分散が低減された。
• InvertedPendulumタスクでは、GRUとLSTMの両方で、それぞれ20.4%および22.6%の性能向上が見られ、分散が顕著に低減された。
• 2次特徴（φ(x) = [x, vec(xxᵀ)]）を用いることで、InvertedPendulumでの平均報酬が4.9%向上し、分散が低減された。
• 本手法は、基本RNN、GRU、LSTMのすべてのテスト済みRNNセルで一貫して性能向上を示し、広範な適用可能性を示した。
• 模倣学習では、高い性能に到達するまでの反復回数が減少したため、収束が速くなった。