[論文レビュー] A Real-Time Model-Based Reinforcement Learning Architecture for Robot Control

Todd Hester, Michael Quinlan+1 more|arXiv (Cornell University)|May 9, 2011

Reinforcement Learning in Robotics参考文献 13被引用数 9

ひとこと要約

本論文は、モデル学習、計画、行動実行を並列化することで、サンプル効率的で連続的なロボット制御を実現するリアルタイムモデルベース強化学習アーキテクチャ（rtmba）を提案する。自律走行車制御などのリアルタイムタスクにおいて、一時停止なしに高速に学習しながらも高いサンプル効率を維持する点で、既存手法を上回る性能を発揮する。

ABSTRACT

Reinforcement Learning (RL) is a method for learning decision-making tasks that could enable robots to learn and adapt to their situation on-line. For an RL algorithm to be practical for robotic control tasks, it must learn in very few actions, while continually taking those actions in real-time. Existing model-based RL methods learn in relatively few actions, but typically take too much time between each action for practical on-line learning. In this paper, we present a novel parallel architecture for model-based RL that runs in real-time by 1) taking advantage of sample-based approximate planning methods and 2) parallelizing the acting, model learning, and planning processes such that the acting process is sufficiently fast for typical robot control cycles. We demonstrate that algorithms using this architecture perform nearly as well as methods using the typical sequential architecture when both are given unlimited time, and greatly out-perform these methods on tasks that require real-time actions such as controlling an autonomous vehicle.

研究の動機と目的

• ロボットがリアルタイムで学習・適応可能でありながら、高コストな現実世界の行動を最小限に抑える挑戦に取り組むこと。
• 既存のモデルベース強化学習手法が、行動間の計算時間が長く、オンラインロボット制御に不適切であるという制限を克服すること。
• 継続的かつリアルタイムの行動実行を可能にしながらも、高いサンプル効率を維持するシステムを設計すること。
• モデル学習、計画、行動の並列化が、学習品質を損なわずリアルタイム性能を達成できることを示すこと。
• シミュレーションおよび現実世界のロボット制御タスク、特に自律走行車の速度制御において、アーキテクチャを検証すること。

提案手法

• rtmbaアーキテクチャは、リアルタイムの行動選択、モデル学習、サンプルベースの近似計画の3つの並列スレッドを用いる。
• モデル学習には、経験から遷移および報酬モデルを効率的に学習するための木構造探索戦略を用いるtexploreアルゴリズムを採用する。
• 計画には、計算負荷を低減しリアルタイム性能を実現するためのサンプルベース近似を用いたモンテカルロツリー探索（MCTS）を実装する。
• システムは、行動サイクル中にバッチでモデルを更新することで、制御を中断せずに継続的な学習を可能にする。
• アーキテクチャはマルチコアプロセッサ上で効率的に動作するように設計されており、厳密なリアルタイム制御サイクル要件を満たすために並列処理を活用する。
• エージェントはROSベースのインターフェースを介して環境と通信し、標準的なロボットプラットフォームへの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 モデルベース強化学習システムは、ロボット制御タスクにおいて、サンプル効率的かつリアルタイムの行動実行を両立できるか？
• RQ2 モデル学習、計画、行動の並列化は、パフォーマンス劣化を伴わずに継続的学習を可能にするか？
• RQ3 提案されたアーキテクチャは、リアルタイムロボット制御シナリオにおいて、逐次的モデルベースおよびモデルフリー手法を上回る性能を発揮するか？
• RQ4 高速で継続的な意思決定を要する現実世界のロボットアプリケーションにおいて、このアーキテクチャは有効か？
• RQ5 両者に無制限の計算時間を与えた場合、rtmbaのパフォーマンスは既存手法と比べてどうなるか？

主な発見

• rtmbaアーキテクチャは、学習の一時停止なしにリアルタイム学習を可能にし、学習中でも継続的なロボット制御を実現する。
• シミュレーションでは、無制限の計算時間を与えられた場合でも、逐次的手法とほぼ同等の性能を発揮し、高いサンプル効率を示した。
• 自律走行車制御タスクでは、rtmbaは18エピソード（走行3分間）で2 m/sから7 m/sの速度追従を成功裏に学習したが、他の手法は長時間の計算遅延により失敗した。
• 物理的車両上での実世界デプロイメントに成功し、2 m/sから5 m/sへの速度制御を学習した。
• わずか18エピソードで安定的かつ高精度な制御性能を達成したため、リアルタイム環境下での急速なサンプル効率性が実証された。
• 並列設計によりマルチコアプロセッサの効率的利用が可能となり、現代のロボットハードウェアに実用的であることが示された。