[論文レビュー] Towards a Simple Approach to Multi-step Model-based Reinforcement Learning

Kavosh Asadi, Evan Cater+2 more|arXiv (Cornell University)|Oct 31, 2018

Software Engineering Research被引用数 6

ひとこと要約

この論文は、1ステップモデルで一般的な累積誤差を低減するため、可変長のアクションシーケンスの結果を予測するシンプルな複数ステップモデルベース強化学習手法を提案している。この手法は、ポリシー条件付きロールアウトを含み、長期予測精度を著しく向上させ、初期のAtari Breakout実験でも1ステップモデルを上回る性能を示しており、サンプル効率の良い強化学習における効果的な計画の可能性を示している。

ABSTRACT

When environmental interaction is expensive, model-based reinforcement learning offers a solution by planning ahead and avoiding costly mistakes. Model-based agents typically learn a single-step transition model. In this paper, we propose a multi-step model that predicts the outcome of an action sequence with variable length. We show that this model is easy to learn, and that the model can make policy-conditional predictions. We report preliminary results that show a clear advantage for the multi-step model compared to its one-step counterpart.

研究の動機と目的

• 1ステップモデルベース強化学習における累積誤差問題に対処すること。これは、小さな誤差がロールアウト中に蓄積されるためである。
• 可変長アクションシーケンスまたはポリシーの結果を予測できるシンプルで学習可能な複数ステップモデルを開発すること。
• より効果的な計画の実現のため、ポリシー条件付き予測を可能にすること。
• 価値関数最適化および長期予測タスクにおける複数ステップモデルの性能を評価すること。
• 複雑な環境における長期計画において、複数ステップモデルが1ステップモデルよりも優れていることを示すこと。

提案手法

• モデルは、状態 $ s $ からアクションシーケンスを実行した後に状態 $ s' $ に到達する確率を予測する遷移関数 $ T^n(s, s', \text{actions}) $ を学習する。シーケンス長は可変である。
• モデルは直接的に複数ステップの結果を予測するように訓練され、繰り返し1ステップのロールアウトに依存するのを減らし、誤差伝搬を最小限に抑える。
• ポリシー条件付き予測は $ T^n(s, s', \theta) $ を介して可能であり、ここで $ \theta $ はポリシーを表す。これにより、特定の行動戦略下での計画が可能になる。
• モデルは、モデル予測のリターンを用いてクライアントを更新することで、アクタ・クリティック強化学習に統合され、価値関数最適化が行われる。
• モデルは、示されたまたは収集された軌道に基づいて教師あり学習を用いてエンドツーエンドで訓練され、将来の状態の予測精度に基づく損失関数が用いられる。
• 推論時に繰り返しロールアウトを避けることで、長期予測結果を直接予測する。これにより、サンプル効率と計画の安定性が向上する。

実験結果

リサーチクエスチョン

• RQ1 アクションシーケンスの結果を予測するように訓練された複数ステップモデルは、1ステップモデルと比較して累積誤差を低減できるか？
• RQ2 ポリシー条件付き予測が可能であることで、モデルベース強化学習における計画性能が向上するか？
• RQ3 高コストな相互作用を伴う環境において、複数ステップモデルは1ステップモデルよりも優れた長期状態予測精度を達成できるか？
• RQ4 アクタ・クリティカルフレームワークにおける価値関数最適化に使用した場合、複数ステップモデルは有効か？
• RQ5 直接的な複数ステップ訓練は、繰り返し1ステップのロールアウトと比較して、より安定的かつ正確なロールアウトをもたらすか？

主な発見

• 複数ステップモデルは、特に複数のタイムステップを経過した後でも、1ステップモデルを著しく上回る長期予測精度を示した。
• Atari Breakoutにおける初期実験では、複数ステップモデルが1ステップモデルよりも長期にわたり高いフレーム予測精度を達成した。
• モデルは正確なポリシー条件付き予測を可能にし、エージェントが特定の行動ポリシー下での計画が可能になった。
• 1ステップモデルの合成は、長期計画において非常に誤りが多く、しばしば壊滅的になることが判明した。
• 複数ステップモデルは、繰り返し予測に依存するのではなく、直接的な結果予測を学習することで誤差蓄積を低減した。
• 結果から、1ステップモデルは限定的な利点しか提供せず、効果的な計画のためには複数ステップモデルに移行すべきであると示唆された。