[論文レビュー] Social Attention: Modeling Attention in Human Crowds

Anirudh Vemula, Katharina Muelling+1 more|arXiv (Cornell University)|Oct 12, 2017

Anomaly Detection Techniques and Applications被引用数 8

ひとこと要約

本論文では、群衆内の全歩行者に対してソフトアテンション機構を用いることで、局所的でない、文脈に配慮した人間同士の相互作用を捉える新しい軌道予測モデル、Social Attentionを提案する。このモデルは、距離に基づく仮定を超えて動的で長距離の依存関係をモデル化することで、2つの実世界データセットにおいて最先端の手法を上回る予測精度を達成する。

ABSTRACT

Robots that navigate through human crowds need to be able to plan safe, efficient, and human predictable trajectories. This is a particularly challenging problem as it requires the robot to predict future human trajectories within a crowd where everyone implicitly cooperates with each other to avoid collisions. Previous approaches to human trajectory prediction have modeled the interactions between humans as a function of proximity. However, that is not necessarily true as some people in our immediate vicinity moving in the same direction might not be as important as other people that are further away, but that might collide with us in the future. In this work, we propose Social Attention, a novel trajectory prediction model that captures the relative importance of each person when navigating in the crowd, irrespective of their proximity. We demonstrate the performance of our method against a state-of-the-art approach on two publicly available crowd datasets and analyze the trained attention model to gain a better understanding of which surrounding agents humans attend to, when navigating in a crowd.

研究の動機と目的

• 群衆ナビゲーションにおける長距離で局所的でない人間同士の相互作用を捉えることのできない距離に基づくモデルの限界を解消すること。
• 距離にかかわらず、すべての歩行者の相対的影響をモデル化することで、軌道予測の精度を向上させること。
• 空間的および時間的ダイナミクスを両方捉える、完全に微分可能で一括学習されたRNN混合モデルを構築すること。
• 実際の群衆で観察される現実的な注目パターンを反映する人間の軌道を予測することで、社会的に整合性のあるロボットナビゲーションを可能にすること。
• 学習されたアテンション機構を分析し、ナビゲーション中に人間がどのエージェントに注目しているかを理解することで、群衆ダイナミクスの解釈可能性を提供すること。

提案手法

• 群衆に存在するすべてのエージェントの時間的および空間的ダイナミクスをモデル化するため、フィードフォワードで完全に微分可能かつ一括学習された再帰的ニューラルネットワーク（RNN）混合モデルを提案する。
• 各エージェントと他のすべてのエージェントとの間でアテンションスコアを計算するソフトアテンション機構を実装し、非局所的相互作用が予測に影響を与えるようにする。
• 相対運動特徴（速度、進行方向、衝突までの時間など）に基づいてアテンション重みを計算するスコア関数（式4）を用いる。距離だけでなく、これらの特徴を用いることで、距離以外の要因も考慮する。
• 全エージェントの将来の軌道における統合損失を用いてエンドツーエンドで学習することで、群衆全体における共有表現学習を可能にする。
• GPU上で並列処理を実装することで、全エージェントをグローバルにモデル化してもリアルタイム性能（10Hz）を維持する。
• 個々のエージェントの軌道をモデル化するRNNの混合を用いながら、群衆全体に注目することで、動的で文脈に依存する予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 距離に基づくモデルと比較して、非局所的アテンション機構は、混雑した環境における軌道予測精度を向上させることができるか？
• RQ2 ナビゲーション中に人間は、無意識的にどの周囲のエージェントに注目しているのか？ これらのパターンはデータから学習可能か？
• RQ3 Social Attentionにおけるアテンション機構は、動的で変化する群衆シナリオにおける実際の人間の注目行動をどれほど反映しているか？
• RQ4 局所的近隣領域を超えたグローバルな相互作用をモデル化することで、実世界のデータセットにおける予測性能はどの程度向上するか？
• RQ5 アテンション機構の失敗モードは何か？ また、遠く離れたまたは静止しているエージェントの相対的影響を誤って評価する場合とどのように関係しているか？

主な発見

• Social Attentionは、2つの公開済みの群衆データセットにおいて、最先端のSocial LSTMを上回り、平均的移動誤差（ADE）および最終移動誤差（FDE）が低くなる。
• ETHおよびUCYデータセットにおいて、FDEがSocial LSTMと比較して10〜15％相対的に改善され、優れた一般化性能と精度を示している。
• アテンション機構は、距離が離れていても動的に移動しているエージェントをより重要な要因として認識し、実際の人間のナビゲーション行動と整合している。
• 衝突リスクが予想されない場合、遠く離れていても同様に動いているエージェントには等しい注目度が与えられ、将来的な衝突リスクを合理的に評価している。
• 失敗事例では、影響力のないエージェント（例：遠く離れている、または静止している歩行者）に高すぎる注目度を与えることがあることが判明し、微細な運動の兆候を捉える能力に限界があることが示された。
• 定性的な分析により、アテンション機構が、衝突の可能性が高いために注目すべきとされるエージェント（例：対向で接近する、または速く動く個体）を、距離を越えて優先して学習していることが確認された。