[論文レビュー] Crowd-Robot Interaction: Crowd-aware Robot Navigation with Attention-based Deep Reinforcement Learning

Changan Chen, Yuejiang Liu+2 more|arXiv (Cornell University)|Sep 24, 2018

Evacuation and Crowd Dynamics参考文献 43被引用数 12

ひとこと要約

本論文は、群衆内でのロボット・ヒューマン相互作用とヒューマン・ヒューマン相互作用を両方モデル化する注目メカニズムを備えた深層強化学習フレームワーク、SARLを提案する。将来の状態に基づいて周囲の人々の重要性を動的に重みづけする自己注意機構を用いることで、群衆のダイナミクスをより正確に予測し、シミュレーションおよびSegwayプラットフォームを用いた実世界実験において、最先端の手法を上回る迅速かつ安全なナビゲーションを実現する。

ABSTRACT

Mobility in an effective and socially-compliant manner is an essential yet challenging task for robots operating in crowded spaces. Recent works have shown the power of deep reinforcement learning techniques to learn socially cooperative policies. However, their cooperation ability deteriorates as the crowd grows since they typically relax the problem as a one-way Human-Robot interaction problem. In this work, we want to go beyond first-order Human-Robot interaction and more explicitly model Crowd-Robot Interaction (CRI). We propose to (i) rethink pairwise interactions with a self-attention mechanism, and (ii) jointly model Human-Robot as well as Human-Human interactions in the deep reinforcement learning framework. Our model captures the Human-Human interactions occurring in dense crowds that indirectly affects the robot's anticipation capability. Our proposed attentive pooling mechanism learns the collective importance of neighboring humans with respect to their future states. Various experiments demonstrate that our model can anticipate human dynamics and navigate in crowds with time efficiency, outperforming state-of-the-art methods.

研究の動機と目的

• 既存のロボットナビゲーション手法が群衆内相互作用を単純化したり、ヒューマン・ヒューマンダイナミクスを無視するという限界を解消すること。
• ヒューマン・ロボットおよびヒューマン・ヒューマン相互作用を統合的にモデル化することで、混雑した群衆内でのロボットナビゲーションを改善すること。
• 注目メカニズムを用いて隣接エージェントの相対的な重要性を学習することで、人間の運動の予測を向上させること。
• 多様な群衆シナリオに一般化可能な計算効率が高く、エンド・ツー・エンドで微分可能なポリシーを構築すること。

提案手法

• 本手法は自己注意機構を用いて、ロボットと各ヒューマンとの間の相互作用特徴を統合し、将来の予測状態に基づいて各ヒューマンの相対的重要性を学習する。
• 局所的マップを用いてヒューマン・ヒューマン相互作用を符号化し、ロボット計画に間接的に影響を与える集団的群衆行動を捉える。
• ロボット・ヒューマンおよびヒューマン・ヒューマンペアからの相互作用特徴を、マルチヘッド自己注意層で処理し、コンパクトで文脈に適した群衆表現を生成する。
• 専門家のデモンストレーションを用いた模倣学習によりポリシーの初期化を実施した後、深層強化学習を用いてナビゲーション行動を最適化する。
• LM-SARLという変種は、局所的マップを注意機構に統合し、複雑なヒューマン・ヒューマン相互作用をよりよくモデル化する。
• 最終的なポリシーは、ナビゲーションの時間効率および安全性を最適化するために、エンド・ツー・エンドで深層強化学習を用いて訓練される。

実験結果

リサーチクエスチョン

• RQ1 ロボットは、ヒューマン・ロボット相互作用に加えてヒューマン・ヒューマン相互作用をモデル化することで、混雑した群衆内での人間の運動を効果的に予測できるか？
• RQ2 自己注意機構は、周囲の人々に動的な重要性重みを割り当てることで、群衆ダイナミクスの表現を向上させられるか？
• RQ3 ヒューマン・ロボットおよびヒューマン・ヒューマン相互作用を同時にモデル化することは、片方向の相互作用モデルと比較して、より効率的かつ安全なナビゲーションを実現できるか？
• RQ4 ヒューマン・ヒューマン相互作用のモデル化に局所的マップを組み込むことで、ロボットは複雑な群衆行動をよりよく推論できるか？

主な発見

• 提案されたSARLモデルは、密度が高く複雑な群衆環境を含む複数のシミュレーションシナリオにおいて、ナビゲーション時間と成功確率の両面で最先端の手法を上回る。
• 局所的マップを注意機構に統合したLM-SARLは、群衆の中心部を安全なショートカットとして正しく特定することで優れた性能を発揮し、攻撃的または極端に慎重な行動を回避する。
• 注目メカニズムは、ロボットに近づく可能性の高い人々といった、最も影響力のある人々を正しく特定することができ、動的な群衆内重要度の推論能力を示している。
• 価値推定において、SARLおよびLM-SARLは危険な方向（70°から200°）に対して低価値を正しく予測し、安全な減速を促すが、ベースライン手法はこれらの領域で価値を過大評価する。
• Segwayロボットプラットフォームを用いた実世界実験により、モデルの頑健性と一般化能力が確認され、学習済みポリシーに従って実際の人間の群衆を安全に通過できた。
• アブレーションスタディの結果、自己注意機構または局所的マップ統合を削除すると、性能が著しく低下し、両者の貢献が検証された。