[論文レビュー] Actor-Critic for Linearly-Solvable Continuous MDP with Partially Known Dynamics

Tomoki Nishi, Prashant Doshi+2 more|arXiv (Cornell University)|Jun 4, 2017

Reinforcement Learning in Robotics参考文献 11被引用数 5

ひとこと要約

本論文は、既知の制御ダイナミクスと受動的遷移データを活用し、危険な能動的探索を回避する、線形に解ける連続的MDPに対する準モデルフリー強化学習手法であるパッシブ・アクタ・クリティック（pAC）を提案する。ニューラルネットワークを用いて実際の交通データ上での高速道路合流タスクで97%の成功を達成し、モデル要件が少ないにもかかわらず、モデルベースのベースラインを上回る性能を発揮した。

ABSTRACT

In many robotic applications, some aspects of the system dynamics can be modeled accurately while others are difficult to obtain or model. We present a novel reinforcement learning (RL) method for continuous state and action spaces that learns with partial knowledge of the system and without active exploration. It solves linearly-solvable Markov decision processes (L-MDPs), which are well suited for continuous state and action spaces, based on an actor-critic architecture. Compared to previous RL methods for L-MDPs and path integral methods which are model based, the actor-critic learning does not need a model of the uncontrolled dynamics and, importantly, transition noise levels; however, it requires knowing the control dynamics for the problem. We evaluate our method on two synthetic test problems, and one real-world problem in simulation and using real traffic data. Our experiments demonstrate improved learning and policy performance.

研究の動機と目的

• 実世界のロボット応用において、危険な能動的探索を回避する連続的MDP向けの強化学習手法の開発。
• 完全なシステムダイナミクスモデルへの依存を減らすために、既知の制御ダイナミクスとサンプリングされた受動的遷移のみを用いること。
• 特に自動運転を想定した部分的に既知のダイナミクス環境における、方策学習の効率性とパフォーマンスの向上。
• 線形に解けるMDPに特化したアクタ・クリティックフレームワークの導入により、従来のモデルベース手法よりも優れた方策最適化を実現すること。
• 合成ドメインおよび実世界の交通データ上での評価を通じて、実用的妥当性の検証。

提案手法

• pACは2段階のアクタ・クリティックアーキテクチャを採用する：クリティックは受動的遷移データと線形化されたベルマン方程式を用いて価値関数を推定する。
• アクターは、推定されたQ値と価値関数の誤差を最小化することで方策を改善し、既知の制御ダイナミクスを活用する。
• 最適化中に、価値関数と行動価値関数の乖離を最小化することで、遷移ノイズのレベルを推定する。
• ラジアル基底関数と多層ニューラルネットワークを価値関数の関数近似に用い、特にニューラルネットワークが優れた性能を示した。
• 環境車両の行動から得られるデータ（受動的ダイナミクス）と既知の車両制御モデルに依存することで、能動的探索を回避する。
• 受動的ダイナミクス下での状態遷移は、実際の軌道データから行動に起因する変化を差し引くことで再構築される。

実験結果

リサーチクエスチョン

• RQ1 線形に解けるMDP向けの強化学習手法は、システムダイナミクスの部分的知識のみで高い方策性能を達成できるか？
• RQ2 L-MDPの文脈において、アクタ・クリティックアーキテクチャは、完全なダイナミクスを必要とするモデルベース手法よりも方策学習を改善できるか？
• RQ3 受動的ダイナミクスデータと既知の制御ダイナミクスを用いることで、能動的探索なしに安全で効率的な方策学習が可能になるか？
• RQ4 Q値誤差の最小化を目的とするアクターステップは、価値関数推定のみに比べて性能向上にどの程度寄与するか？
• RQ5 実際の軌道データを用いて、実世界の交通シナリオ（例：高速道路合流）に一般化可能か？

主な発見

• pACはニューラルネットワークによる関数近似を用いて、シミュレートされた高速道路合流タスクで97%の成功率を達成し、同じアーキテクチャを用いたZ学習を顕著に上回った。
• 実世界のNGSIM交通データ上でも、pACはニューラルネットワークを用いて93%の成功率を達成し、より少ない事前知識にもかかわらず、ニューラルネットワークを用いたZ学習を上回った。
• 合成および実世界の評価の両方において、ラジアル基底関数に比べてニューラルネットワークを関数近似に用いることで、顕著なパフォーマンス向上が得られた。
• pACにおけるアクターステップ（Q値誤差の最小化）が、データからのノイズレベル推定よりも性能向上に寄与した。
• 特に遷移ノイズの既知要件を回避するなど、モデル仕様の要件が少ないにもかかわらず、pACはZ学習などのモデルベースベンチマークと同等またはそれ以上の性能を示した。
• 能動的探索を一切行わず、実世界の交通シナリオにおいて高品質な方策を学習できたことから、自動運転への実用的適用可能性が裏付けられた。