[論文レビュー] Robot Navigation in Crowds by Graph Convolutional Networks with Attention Learned from Human Gaze

Yuying Chen, Congcong Liu+2 more|arXiv (Cornell University)|Sep 23, 2019

Anomaly Detection Techniques and Applications参考文献 29被引用数 8

ひとこと要約

本稿では、集団内でのロボットナビゲーションのための、人間の注視行動から学習した注目メカニズムを備えたグラフ畳み込みネットワーク（GCN）を提案する。注目メカニズムにより顕著な歩行者に注目することで、ポリシー学習の性能が向上する。GCNに基づく強化学習フレームワークに注視行動由来の注目メカニズムを統合することで、最先端の手法と比較して、密度の高い現実世界のデータセット上でのタスク達成率が18.4%向上し、時間効率が16.4%向上した。

ABSTRACT

Safe and efficient crowd navigation for mobile robot is a crucial yet challenging task. Previous work has shown the power of deep reinforcement learning frameworks to train efficient policies. However, their performance deteriorates when the crowd size grows. We suggest that this can be addressed by enabling the network to identify and pay attention to the humans in the crowd that are most critical to navigation. We propose a novel network utilizing a graph representation to learn the policy. We first train a graph convolutional network based on human gaze data that accurately predicts human attention to different agents in the crowd. Then we incorporate the learned attention into a graph-based reinforcement learning architecture. The proposed attention mechanism enables the assignment of meaningful weightings to the neighbors of the robot, and has the additional benefit of interpretability. Experiments on real-world dense pedestrian datasets with various crowd sizes demonstrate that our model outperforms state-of-art methods by 18.4% in task accomplishment and by 16.4% in time efficiency.

研究の動機と目的

• 高密度な群衆における深層強化学習の性能低下を改善するため、重要なエージェントに注目する能力を向上させること。
• 学習可能な隣接行列を備えた動的グラフとしてロボットと歩行者の相互作用を表現することで、群衆のダイナミクスをより効果的にモデル化すること。
• 人間の注視データを活用して、ナビゲーション意思決定に最も関連する歩行者を特定する注目メカニズムを学習すること。
• グラフベースの特徴集約を用いることで、変動する群衆サイズにおけるナビゲーションポリシーの解釈可能性とスケーラビリティを向上させること。
• 現実世界の高密度な歩行者環境において、達成率とナビゲーション効率の両面で既存手法を上回ること。

提案手法

• まず、人間の注視データを用いて2層のグラフ畳み込みネットワーク（GCN）を訓練し、周囲の歩行者に対する注目重みを予測する。
• 学習された注視行動由来の注目メカニズムを用いて、ロボット-クラウド状態を符号化する2番目のGCNの隣接行列を調整する。
• GCNに基づく状態表現を深層Qネットワークに供給し、強化学習における行動選択の価値関数を推定する。
• 時間経過とともに隣接行列を動的に更新し、変化する相互作用と注視の変化を反映させる。
• 構造的グラフ情報と人間の注視事前知識を統合することで、ナビゲーション中に顕著なエージェントを優先的に処理する。
• アブレーションスタディでは、均一重み、距離に基づく重み、自己注目重みの変種と比較し、注視行動から学習した注目メカニズムの貢献を分離する。

実験結果

リサーチクエスチョン

• RQ1 人間の注視データは、群衆内でのロボットナビゲーションのためのより意味のある注目メカニズムを学習するために効果的に活用可能か？
• RQ2 注視行動由来の注目メカニズムをGCNに組み込むことで、高密度な群衆環境におけるポリシー性能が向上するか？
• RQ3 変動する群衆サイズを扱う際、グラフベースのアーキテクチャは、順序処理型またはプーリングベースの集約と比較してどのように優れているか？
• RQ4 グラフ表現と学習された注目メカニズムの組み合わせが、ナビゲーション時間の短縮と達成率の向上にどの程度寄与するか？
• RQ5 本手法は、多様な群衆密度や複雑な動きのパターンにわたって、頑健に機能するか？

主な発見

• 提案されたG-GCNRLモデルは、現実世界の高密度歩行者データセット上において、最先端の手法と比較して18.4%高いタスク達成率と16.4%高い時間効率を達成した。
• 注視行動由来の注目メカニズムを備えたモデル（G-GCNRL）は、自己注目ベースライン（SA-GCNRL）と比較して、達成率で9.7%向上し、ナビゲーション時間で11.1%改善した。
• アブレーションスタディの結果、注視行動から学習した注目メカニズムは、距離に基づく重み付けと比較して10.5%、均一重み付けと比較して5.0%の達成率向上をもたらした。
• 最も複雑な環境（NYC-GC、1フレームあたり約30人の歩行者）においても、G-GCNRLは最高の達成率を記録し、高密度下での頑健性を示した。
• 軌道可視化の結果、G-GCNRLは滑らかで直線的な経路を生成する一方、SARLはしばしば停止し、頻繁に方向転換を繰り返していた。
• グラフベースのアーキテクチャは、非グラフベースのベースラインを著しく上回った：U-GCNRLは、均一重みを用いたSARLに似たUARLと比較して、達成率が23.7%高く、所要時間が23.2%短かった。