[論文レビュー] Learning Dynamics Model in Reinforcement Learning by Incorporating the Long Term Future

Nan Rosemary Ke, Amanpreet Singh+5 more|arXiv (Cornell University)|Mar 5, 2019

Reinforcement Learning in Robotics参考文献 54被引用数 17

ひとこと要約

本論文は、将来の情報を補助損失と逆方向RNNを用いて組み込むことで、長期予測を向上させる潜在変数を有する自己回帰モデルを、モデルベース強化学習において提案する。長期予測の動的挙動を学習させることで、より正確な計画と探索が可能となり、PickUnlock や CarRacing といったタスクにおいて、ベースラインより高い累積報酬をより速く達成する。

ABSTRACT

In model-based reinforcement learning, the agent interleaves between model learning and planning. These two components are inextricably intertwined. If the model is not able to provide sensible long-term prediction, the executed planner would exploit model flaws, which can yield catastrophic failures. This paper focuses on building a model that reasons about the long-term future and demonstrates how to use this for efficient planning and exploration. To this end, we build a latent-variable autoregressive model by leveraging recent ideas in variational inference. We argue that forcing latent variables to carry future information through an auxiliary task substantially improves long-term predictions. Moreover, by planning in the latent space, the planner's solution is ensured to be within regions where the model is valid. An exploration strategy can be devised by searching for unlikely trajectories under the model. Our method achieves higher reward faster compared to baselines on a variety of tasks and environments in both the imitation learning and model-based reinforcement learning settings.

研究の動機と目的

• 1ステップ予測の不正確さに起因する誤差の累積問題を解消すること。
• 即時の遷移を超えて将来の状態を考慮するようにモデルを学習させることで、長期予測の正確性を向上させること。
• 予測が有効で高尤度な軌道に従うように保証することで、効率的な計画と探索を可能にすること。
• 長期ダイナミクスをモデリングすることで、複雑な環境において、より速い方策学習と優れたサンプル効率が達成されることを示すこと。

提案手法

• 逐次観測と行動をモデリングするため、潜在変数を用いた変分推論フレームワークを採用する。
• 潜在変数の事後分布が将来の観測に依存するように、逆方向RNNを組み込むことで、長期的文脈を注入する。
• 補助損失を導入し、潜在変数が将来の要約を予測するように正則化することで、長期予測の一般化性能を向上させる。
• 教師強制（teacher-forcing）を用いた最尤推定でモデルを学習するが、将来に配慮した潜在表現によって誤差の蓄積を緩和する。
• 生成された軌道がモデルの有効な分布内に収まるように、潜在空間で計画を実行する。
• モデル下での低尤度軌道を特定する戦略に基づいた探索戦略を設計し、エージェントを新規状態へ誘導する。

実験結果

リサーチクエスチョン

• RQ1 長期的な将来のダイナミクスをモデリングすることで、モデルベース強化学習における計画と方策学習が改善されるか？
• RQ2 潜在変数に将来の情報を組み込むことで、逐次モデルにおける誤差の累積が軽減されるか？
• RQ3 長期予測遷移を学習させたモデルが、より効果的な探索とより速い収束を可能にするか？
• RQ4 将来に配慮した潜在表現モデリングは、標準的な1ステップ予測と比較して、長期予測の動的生成と計画性能において優れているか？
• RQ5 鍵を発見したりドアを開けたりする重要なマイルストーンに到達した際に、予測誤差が急激に低下することで、部分的目標（subgoals）の検出が可能になるか？

主な発見

• CarRacingにおける長期予測動画の負の対数尤度（NLL）は、-526.0を達成し、再帰的デコーダー（NLL: -352.8）を著しく上回った。
• PickUnlockタスクにおいて、モデルは再帰的方策ベースラインよりも一貫して高い累積報酬を達成し、学習速度とサンプル効率の優位性を示した。
• エージェントが重要な部分的目標（例：鍵の発見、ドアの解錠）に到達した際に、予測誤差が急激に低下したため、効果的な部分的目標検出が可能であった。
• モデルからの視覚的生成は、曲がりくねった道路や完全な構造を持つ一貫性のある複雑なシーンを生成したが、ベースラインは不完全または直線的な道路を生成した。
• スパarsity報酬付きの車輪移動タスクにおいて、モデルはSectarベースラインを上回り、Sectar自体がA3C、TRPO、Option Critic、FeUdal、VIMEを上回った。
• 低尤度軌道に基づく探索戦略は、未探索領域へ効果的にエージェントを誘導し、サンプル効率を向上させた。