[論文レビュー] Predicting Responses to a Robot's Future Motion using Generative Recurrent Neural Networks

Stuart Eiffert, Salah Sukkarieh|arXiv (Cornell University)|Sep 30, 2019

Autonomous Vehicle Technology and Safety参考文献 21被引用数 10

ひとこと要約

本論文では、ロボットの計画的行動を入力として組み込むことで、人間や動物がロボットの将来の動きに対してどのように反応するかを予測する生成的再帰ニューラルネットワーク（ResponseRNN）を提案する。このモデルは、密接な距離での相互作用において軌道予測の精度を向上させ、エージェント間の相互作用に関する仮定を必要とせず、代替のロボット行動をシミュレート可能であり、人間および非人間エージェントの両方に対して一般化性を示す。

ABSTRACT

Robotic navigation through crowds or herds requires the ability to both predict the future motion of nearby individuals and understand how these predictions might change in response to a robot's future action. State of the art trajectory prediction models using Recurrent Neural Networks (RNNs) do not currently account for a planned future action of a robot, and so cannot predict how an individual will move in response to a robot's planned path. We propose an approach that adapts RNNs to use a robot's next planned action as an input alongside the current position of nearby individuals. This allows the model to learn the response of individuals with regards to a robot's motion from real world observations. By linking a robot's actions to the response of those around it in training, we show that we are able to not only improve prediction accuracy in close range interactions, but also to predict the likely response of surrounding individuals to simulated actions. This allows the use of the model to simulate state transitions, without requiring any assumptions on agent interaction. We apply this model to varied datasets, including crowds of pedestrians interacting with vehicles and bicycles, and livestock interacting with a robotic vehicle.

研究の動機と目的

• 既存の軌道予測モデルが、人間や動物の反応を予測する際にロボットの将来の行動を考慮していないという限界を解消すること。
• 周囲のエージェントが異なる計画経路に対してどのように反応するかをシミュレートできるようにし、動的環境におけるより良いパスプランニングを支援すること。
• 手動で設計された社会的力モデルや衝突回避モデルに依存せず、観測された相互作用から現実の反応パターンを学習すること。
• 歩行者、自転車乗り、家畜など多様なエージェントタイプに一般化できること。
• エージェント相互作用ダイナミクスに関する明示的仮定を必要とせず、状態遷移のモデルベースシミュレーションを可能とすること。

提案手法

• モデルは、推論時にロボットの計画的将来行動を入力トークンとして含めるように再帰的ニューラルネットワーク（RNN）を拡張する。
• 空間的・時間的関係を含む、すべてのエージェントの過去軌道を表すスパatio-temporalグラフ表現を用いる。
• 群衆や群れとのロボット相互作用の実世界データセットを用いて学習し、特定のロボット行動に対するエージェント反応の分布を学習する。
• 生成的アプローチにより、予測された反応分布からのサンプリングが可能となり、代替のロボット経路のシミュレーションが可能になる。
• 実際のロボット経路とシミュレートされたロボット経路の両方を用いて評価し、予測されたエージェント軌道と真値を比較する。
• RRNN-Velバージョンは、ロボットの速度を行動入力の一部として組み込み、動的運動の反応モデリングを向上させる。

実験結果

リサーチクエスチョン

• RQ1 ロボットの計画的行動を入力として与えた場合、深層学習モデルは個々のエージェントがロボットの将来の動きに対してどのように反応するかを予測できるか？
• RQ2 ロボットの行動を組み込むことで、ロボットの動きを無視するモデルと比較して、密接な距離での相互作用における予測精度はどのように向上するか？
• RQ3 学習データに存在しない仮想のロボット経路に対しても、モデルはエージェントの反応をシミュレートできるか？
• RQ4 歩行者、自転車乗り、家畜など異なるエージェントタイプに一般化できるか？
• RQ5 モデルを用いて群衆や群れの状態遷移をシミュレートでき、社会的反応に配慮した反復的パスプランニングが可能になるか？

主な発見

• 提案されたResponseRNNモデルは、ロボットの計画的行動を入力として組み込むことで、密接な距離での相互作用における軌道予測精度を向上させる。
• モデルは、シミュレートされたロボット経路に対するエージェント反応を成功裏に予測しており、実際の回避行動が見られる（例えば、ロボットの進行方向の変更に応じた自然な回避行動）。
• ARATHおよびSDDデータセットを用いた検証により、人間および家畜を含む多様なエージェントタイプに一般化していることが示された。
• シミュレートされた反応は、通常の行動（例：ロボットを避けるために迂回する）を反映しているが、一部の失敗事例ではロボットの経路と整合しない反応が観察された。
• モデルは、相互作用ダイナミクスに関する仮定を必要とせず、状態遷移のシミュレーションを可能とし、パスプランナが社会的反応に基づいて行動を評価できるようにする。
• 失敗事例には、ロボットの接近角度や速度に関する学習データの多様性が不足しているために、シミュレートされた経路に対する反応が一貫しないものがある。