[論文レビュー] Combining Neural Networks and Tree Search for Task and Motion Planning in Challenging Environments

Chris Paxton, Vasumathi Raman+2 more|arXiv (Cornell University)|Mar 22, 2017

Reinforcement Learning in Robotics参考文献 16被引用数 23

ひとこと要約

本稿では、動的環境における複雑なタスクおよびモーションプランニング問題を解消するため、深層強化学習（DRL）とモンテカルロ木探索（MCTS）を組み合わせたハイブリッドプランニングフレームワークを提案する。学習された低レベル制御ポリシーと、線形時相論理（LTL）仕様によってガイドされた高レベルオプションポリシーを用いる。シミュレートされた自動運転シナリオにおいて、学習された高レベルポリシーを有しないベースライン手法よりも著しく優れた、ほぼ完璧なパフォーマンスを達成している。

ABSTRACT

We consider task and motion planning in complex dynamic environments for problems expressed in terms of a set of Linear Temporal Logic (LTL) constraints, and a reward function. We propose a methodology based on reinforcement learning that employs deep neural networks to learn low-level control policies as well as task-level option policies. A major challenge in this setting, both for neural network approaches and classical planning, is the need to explore future worlds of a complex and interactive environment. To this end, we integrate Monte Carlo Tree Search with hierarchical neural net control policies trained on expressive LTL specifications. This paper investigates the ability of neural networks to learn both LTL constraints and control policies in order to generate task plans in complex environments. We demonstrate our approach in a simulated autonomous driving setting, where a vehicle must drive down a road in traffic, avoid collisions, and navigate an intersection, all while obeying given rules of the road.

研究の動機と目的

• 従来の手法が状態空間の爆発と時間的制約により失敗するような、複雑で動的な環境における計画の課題に対処すること。
• 深層強化学習とモンテカルロ木探索を統合し、高レベル行動シーケンスの効率的探索を可能にすること。
• 表現力のあるLTL仕様に基づくタスクおよびモーションプランニングを可能にし、道路の複雑な規則を捉えること。
• DQNを用いて高レベルオプションポリシーを学習することで、手作業で設計されたヒューリスティクスへの依存を低減すること。
• 交通、交差点、動的障害物を含む現実的でシミュレーテッドな自律走行環境において、フレームワークを評価すること。

提案手法

• 低レベル制御ポリシーを学習するため、深層ニューラルネットワークを用いて環境内での連続的運動を制御する。
• 高レベルの「オプションポリシー」は、ディープ・クオンティティ・ネットワーク（DQN）を用いて、プリミティブな行動や行動の選択を学習する。
• モンテカルロ木探索（MCTS）を用いて、学習済みオプションのシーケンスを計画し、各オプションは特定のタスクのためのポリシーを表す。
• LTL式を用いて、時間的および論理的制約を表現する。例：「やがて交差点に到達すること」や「常に衝突を避けること」。
• MCTSアルゴリズムは、学習済みの高レベルポリシーを事前分布として用い、有望な行動シーケンスへの探索をガイドする。
• 状態およびオプションの質を評価するために価値関数を用い、木探索は累積期待リターンに基づいてノードを拡張する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習をモンテカルロ木探索と効果的に統合することで、動的環境における複雑なタスクおよびモーションプランニング問題を解けるか？
• RQ2 LTL制約によってガイドされた場合、学習されたニューラルネットワークポリシーは新しいシナリオにどの程度一般化できるか？
• RQ3 MCTSにおいて学習済みの高レベルポリシーを事前分布として用いることで、ヒューリスティクスや手動ポリシーと比較して、計画の効率性と成功確率が著しく向上するか？
• RQ4 LTL仕様と深層学習の統合により、自律走行などの安全が重要な分野における信頼性があり検証可能なロボット行動が実現可能か？
• RQ5 現在の学習済みポリシーおよび探索ヒューリスティクスは、極端な状態や閉じ込め状態を処理する上で、どのような限界を示しているか？

主な発見

• 学習済みの高レベルポリシーを有するシステムは、簡単なテスト問題において100回の試行すべてで完全なパフォーマンスを達成し、衝突は一切なかった。
• トラップ状態にある車両を含む複雑なシナリオでは、3件の失敗が発生したが、いずれも前方の停止車両や隣接レーンの同一速度車両といった避けがたい物理的制約によるものであった。
• 学習済みの高レベルポリシーを有しないバージョンは、簡単なシナリオでも複数回の衝突を経験しており、特に周囲の交通に囲まれた「閉じ込め状態」に陥った場合に顕著であった。
• 学習済みオプションを用いたMCTSプランナは、危険な状況において衝突の2秒前までに警告を発することができた。
• プランナの推論時間は1回の探索あたり約1秒であり、そのうち25％が世界状態の更新および対戦相手のポリシー評価に費やされており、最適化の余地があることが示された。
• 手動ポリシーはレーン維持を優先していたが、探索が不十分なために不要な衝突を引き起こした。一方、学習済みポリシーは障害物を避けるためにレーン変更などの適切な行動を効果的に選択した。