[論文レビュー] Socially Aware Motion Planning with Deep Reinforcement Learning

Yu Fan Chen, Michael Everett+2 more|arXiv (Cornell University)|Mar 26, 2017

Autonomous Vehicle Technology and Safety参考文献 22被引用数 42

ひとこと要約

本論文では、人間の行動特徴を模倣するのではなく、社会的規範の違反をペナルティ化する報酬設計により、歩行者が多い環境での安全かつ自然な行動—たとえば右側を通り過ぎること—を学習することで、ロボット車両が安全にナビゲートできる深層強化学習フレームワーク、SA-CADRLを提案する。この手法により、最小限の人的介入で、動的で混雑した屋内環境において、人間の歩行速度（1.2 m/s）でリアルタイムかつ完全自律的なナビゲーションが実現された。

ABSTRACT

For robotic vehicles to navigate safely and efficiently in pedestrian-rich environments, it is important to model subtle human behaviors and navigation rules (e.g., passing on the right). However, while instinctive to humans, socially compliant navigation is still difficult to quantify due to the stochasticity in people's behaviors. Existing works are mostly focused on using feature-matching techniques to describe and imitate human paths, but often do not generalize well since the feature values can vary from person to person, and even run to run. This work notes that while it is challenging to directly specify the details of what to do (precise mechanisms of human navigation), it is straightforward to specify what not to do (violations of social norms). Specifically, using deep reinforcement learning, this work develops a time-efficient navigation policy that respects common social norms. The proposed method is shown to enable fully autonomous navigation of a robotic vehicle moving at human walking speed in an environment with many pedestrians.

研究の動機と目的

• 歩行者同士の通行順序や右側を通り過ぎるといった人間のナビゲーション規範を尊重する社会的認識を持つ運動計画システムを開発すること。
• 行動特徴の一致を求める教師強化学習の手法に起因する、確率的変動への感受性や個々の人物や状況における一般化の欠如といった限界を克服すること。
• 複数エージェント（n > 2）のナビゲーション状況に一般化可能なスケーラブルで対称的な深層強化学習アーキテクチャを設計すること。
• 人間の歩行速度で、現実世界の歩行者が多い環境において、リアルタイムかつ完全自律的なロボット車両のナビゲーションを実証すること。
• 明示的な行動クローン生成を伴わないが、協調的衝突回避が強化学習フレームワーク内で自然に社会的適合行動を生み出すかを検証すること。

提案手法

• 本手法は、社会的規範（たとえば、安全でない接近や不適切な追い越し）の違反をペナルティ化することで、累積スパarsな報酬を最大化する方策を学習する深層強化学習を用いる。
• エージェントの識別子に依存しない不変性を確保するため、対称的なニューラルネットワークアーキテクチャを採用し、n > 2のエージェントが存在する状況への一般化を可能にする。
• 状態表現には、LiDARおよびステレオカメラデータから得られる周囲の歩行者の相対的位置、速度、および快適領域（快適領域）を含む推定サイズが含まれる。
• 行動空間は、拡散写像ベースのグローバルプランナーによって計算された自由空間方向の集合から選択可能な速度ベクトルで構成される。
• 報酬関数は、衝突や安全でない接近（例：1m未塔）をペナルティ化するとともに、部分ゴールへの進行を促進し、右側通行の規範遵守を奨励するように設計されている。
• 本システムは、埋め込みハードウェア上で10 Hzのリアルタイム動作を実現しており、LiDAR、Realsense、Webカメラによるセンシング、占有マップ生成、およびSA-CADRLによるローカルプランニングを統合している。

実験結果

リサーチクエスチョン

• RQ1 明示的に人間の軌道や特徴を模倣することなく、深層強化学習方策が右側を通り過ぎるといった社会的適合ナビゲーション行動を学習できるか？
• RQ2 協調的衝突回避方策を、n > 2の複数エージェント状況に一般化するには、対称性とスケーラビリティをどのように維持できるか？
• RQ3 このような方策が、動的で歩行者が多い屋内環境において、人間の歩行速度でリアルタイムかつ完全自律的なナビゲーションを可能にするか？
• RQ4 最小分離距離などの明示的特徴一致を排除することで、従来の教師強化学習手法と比較して、より優れた一般化性能が得られるか？
• RQ5 詳細な行動メカニズムをモデル化せず、社会的規範違反のみをペナルティ化する報酬関数から、社会的適合行動が自然に生じるか？

主な発見

• SA-CADRL方策により、ロボット車両が歩行者が多い屋内環境で1.2 m/sの速度（平均的人間の歩行速度に相当）で完全自律的にナビゲートすることに成功した。
• 平均ゴール距離が50メートルを超える10回の自律走行実験において、1分間に平均10.2人の歩行者が2メートル圏内に接近したが、安全運転手の介入は一切不要であった。
• ロボットは一貫して右側を通り過ぎ、左側を追い抜く行動を示し、明示的な行動クローン生成を伴わず、右側通行の社会的規範に従った行動を示した。
• Gigabyte Brixという埋め込みハードウェア上で10 Hzでリアルタイム動作を実現し、実世界への展開に向けた計算上の実現可能性を確認した。
• 対称的ニューラルネットワークアーキテクチャにより、複数エージェント状況において安定的かつ一般化可能な行動が達成され、モデルベース手法で一般的に見られる振動的経路の発生を回避した。
• 特徴一致に基づく教師強化学習に比べ、歩行者の行動の確率的変動や軌道統計のばらつきに対する感受性が低く、報酬ベースのアプローチが優れた性能を示した。