[論文レビュー] Relational Graph Learning for Crowd Navigation

Changan Chen, Sha Hu+3 more|arXiv (Cornell University)|Sep 28, 2019

Anomaly Detection Techniques and Applications参考文献 45被引用数 9

ひとこと要約

本論文は、モデルベースの深層強化学習を用いて、関係性を学習するグラフ手法を提案する。グラフ畳み込みネットワーク（GCN）は、潜在特徴から関係性を学習することで、エージェント間の高次相互作用を符号化する。この手法により、予測された人的行動に基づく複数ステップ先読み計画が可能となり、ベースラインと比較してナビゲーション効率が向上し、衝突が減少し、振動や凍結行動が解消される。

ABSTRACT

We present a relational graph learning approach for robotic crowd navigation using model-based deep reinforcement learning that plans actions by looking into the future. Our approach reasons about the relations between all agents based on their latent features and uses a Graph Convolutional Network to encode higher-order interactions in each agent's state representation, which is subsequently leveraged for state prediction and value estimation. The ability to predict human motion allows us to perform multi-step lookahead planning, taking into account the temporal evolution of human crowds. We evaluate our approach against a state-of-the-art baseline for crowd navigation and ablations of our model to demonstrate that navigation with our approach is more efficient, results in fewer collisions, and avoids failure cases involving oscillatory and freezing behaviors.

研究の動機と目的

• 動的で複雑な人間の相互作用を伴う群衆における安全かつ効率的なロボットナビゲーションの課題に取り組む。
• ヒューリスティックな相互作用モデルや線形的人間の運動を仮定する従来手法の限界を克服する。
• 関係性推論を用いて、人間の軌道を同時に予測し、状態価値を推定することで、長時間スパンの計画を可能にする。
• 混雑した環境におけるロボットの振動や凍結といった失敗モードを軽減する。
• 学習された関係性を通じた高次相互作用のモデル化がナビゲーション性能を向上させることを示す。

提案手法

• ロボットと人間のエージェントを関係性グラフのノードとして定式化し、エッジは潜在特徴に基づく学習された相互作用を表す。
• グラフ畳み込みネットワーク（GCN）がグラフを処理し、ロボットおよび人間の両者に対して相互作用に配慮した状態表現を計算する。
• 学習されたダイナミクスモデルを用いて将来の人間の軌道を予測し、dステップ先読み計画を可能にする。
• 予測された将来の状態と相互作用特徴を組み込んだ価値ネットワークにより、状態価値を推定する。
• 複数ステップ先読み計画に基づく価値推定から行動を選択することで、非マクロ的（非短視的）な意思決定が可能になる。
• 運動予測とナビゲーション方策の両方を同時に最適化できる微分可能フレームワークを採用し、深層強化学習により統合最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 GCNを用いた関係性グラフ学習は、人間とロボット間の高次相互作用をモデル化することで、マルチエージェントナビゲーションを改善できるか？
• RQ2 予測された人間の運動に基づく複数ステップ先読み計画は、衝突を低減し、ナビゲーション効率を向上させるか？
• RQ3 提案手法は、混雑したシナリオにおけるロボットの振動や凍結といった一般的な失敗事例を緩和できるか？
• RQ4 計画深度（d）が成功確率および衝突回避の観点で性能に与える影響は何か？
• RQ5 学習された相互作用関係は、ヒューリスティックまたは簡略化された相互作用モデルに比べて、どれほど優れているか？

主な発見

• d=2の計画で成功確率0.572を達成し、ベースラインの0.551と比較して顕著な向上を示し、長時間スパンの計画の利点を裏付けた。
• 衝突を低減し、特に複雑なシナリオにおいて顕著に見られるベースライン手法の振動や凍結行動を解消した。
• 2ステップ先読み計画により、2人の人が向かい合って移動するような将来の相互作用を予測することで、衝突を回避できた。
• 価値ヒートマップの可視化により、将来の相互作用が予測される場合、衝突しやすい行動（例：210°）に対して低価値が割り当てられ、より安全な意思決定がなされていることが確認された。
• 将来のステップで補正的な正の報酬を予測することで、即時の行動に不快感ペナルティが伴う場合でも、凍結問題を解消し、非短視的決定を可能にした。
• LiDARおよび深度センシングを搭載したPioneerロボットを用いた実世界でのデプロイにより、リアルタイムの人間検出と追跡を伴う実環境での実現可能性が確認された。