[論文レビュー] LeTS-Drive: Driving in a Crowd by Learning from Tree Search

Panpan Cai, Yuanfu Luo+3 more|arXiv (Cornell University)|May 29, 2019

Data Stream Mining Techniques被引用数 8

ひとこと要約

LeTS-Driveは、信念木探索からの模倣学習とオンラインPOMDP計画を組み合わせたハイブリッドフレームワークを提案し、混雑した環境における安全で効率的かつ滑らかな自動運転を実現する。専門家の木探索から得た方策関数と価値関数を学習し、それらをリアルタイム探索のガイドとして用いることで、計画または学習のみに比べて衝突を50%削減し、移動時間を30%短縮する。

ABSTRACT

Autonomous driving in a crowded environment, e.g., a busy traffic intersection, is an unsolved challenge for robotics. The robot vehicle must contend with a dynamic and partially observable environment, noisy sensors, and many agents. A principled approach is to formalize it as a Partially Observable Markov Decision Process (POMDP) and solve it through online belief-tree search. To handle a large crowd and achieve real-time performance in this very challenging setting, we propose LeTS-Drive, which integrates online POMDP planning and deep learning. It consists of two phases. In the offline phase, we learn a policy and the corresponding value function by imitating the belief tree search. In the online phase, the learned policy and value function guide the belief tree search. LeTS-Drive leverages the robustness of planning and the runtime efficiency of learning to enhance the performance of both. Experimental results in simulation show that LeTS-Drive outperforms either planning or imitation learning alone and develops sophisticated driving skills.

研究の動機と目的

• 多数の歩行者が相互作用する動的で部分観測可能な環境における自動運転の課題に取り組む。
• 純粋な模倣学習（例：一般化性能の低さ）や純粋な計画（例：計算コストの高さ）の限界を、混雑した状況で克服する。
• 計画の頑健性と学習の効率性を活用して、長期的かつ安全で滑らかなナビゲーションを可能にする手法を開発する。
• 多様な群衆の動きとマップレイアウトを用いたニューラルネットワークの学習により、未確認の環境への一般化を可能にする。

提案手法

• 模倣学習のためのデモンストレーションデータを生成するために、オンライン信念木探索を専門家として使用する。
• 専門家の行動選択を模倣する深層方策ネットワークと、信念部分木の価値を推定する価値ネットワークを訓練する。
• 学習した方策関数と価値関数をヒューリスティクスとして統合し、リアルタイム意思決定におけるオンライン信念木探索をガイドする。
• 初期計画をGated Path Planning Network（GPPN）が提供し、それを2番目のニューラルネットワーク部品で最適化する。
• 高次元で部分観測可能な信念空間で効果的に動作するように、分野固有の知識を活用してニューラルネットワークを設計する。
• オフラインでの模倣学習と、学習モデルを用いたオンラインガイド付き探索からなるハイブリッド2段階アプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 専門家の木探索から得た学習済み方策関数と価値関数は、複雑な群衆ナビゲーションにおけるリアルタイム性能を向上させることができるか？
• RQ2 学習と計画を統合することで、歩行者との自動運転における安全性、効率性、滑らかさはどのように向上するか？
• RQ3 学習済みモデルは、未確認のレイアウトや歩行者の動きを持つ新規環境へどの程度一般化できるか？
• RQ4 ガイド付き探索機構は、純粋な計画または学習に比べて計算コストを低減しつつ、性能を維持または向上させることができるか？

主な発見

• LeTS-Driveは、Decoupled-Action-POMDPおよびLeTS-Drive-Imitationに比べ、移動時間を約30%短縮し、減速回数を50%以上削減する。
• レイアウトが著しく異なる新規テストマップにおいて99%の成功率を達成し、模倣学習のみに比べて優れた性能を示す。
• LeTS-Driveは、歩行者の位置や意図がランダムに変化する状況に対しても良好に一般化し、多様なシナリオで高い性能を維持する。
• 事例研究では、歩行者グループを迂回する、歩行者と連携して狭い通路を通過するなど、洗練された行動が車両によって学習されていることが示された。
• 学習と計画の統合により、ローカル最適解を避けることができ、より滑らかで効率的な軌道が生成される。
• 価値ネットワークは、有望でない信念部分木の探索を減らすことで、探索の効率を著しく向上させる。