[논문 리뷰] Predicting Responses to a Robot's Future Motion using Generative Recurrent Neural Networks

Stuart Eiffert, Salah Sukkarieh|arXiv (Cornell University)|2019. 09. 30.

Autonomous Vehicle Technology and Safety참고 문헌 21인용 수 10

한 줄 요약

이 논문은 인간 또는 동물이 로봇의 향후 운동에 어떻게 반응할지를 예측하기 위해 로봇의 계획된 동작을 입력으로 포함하는 생성형 순환 신경망(ResponseRNN)을 제안한다. 이 모델은 밀접한 거리 상호작용에서 궤적 예측 정확도를 향상시키며, 에이전트 상호작용에 대한 가정 없이도 다양한 로봇 동작을 시뮬레이션할 수 있다. 이는 인간과 비인간 에이전트 유형 간의 일반화를 보여준다.

ABSTRACT

Robotic navigation through crowds or herds requires the ability to both predict the future motion of nearby individuals and understand how these predictions might change in response to a robot's future action. State of the art trajectory prediction models using Recurrent Neural Networks (RNNs) do not currently account for a planned future action of a robot, and so cannot predict how an individual will move in response to a robot's planned path. We propose an approach that adapts RNNs to use a robot's next planned action as an input alongside the current position of nearby individuals. This allows the model to learn the response of individuals with regards to a robot's motion from real world observations. By linking a robot's actions to the response of those around it in training, we show that we are able to not only improve prediction accuracy in close range interactions, but also to predict the likely response of surrounding individuals to simulated actions. This allows the use of the model to simulate state transitions, without requiring any assumptions on agent interaction. We apply this model to varied datasets, including crowds of pedestrians interacting with vehicles and bicycles, and livestock interacting with a robotic vehicle.

연구 동기 및 목표

• 기존 궤적 예측 모델이 인간이나 동물의 반응을 예측할 때 로봇의 향후 행동을 고려하지 않는 한계를 해결하기 위해.
• 로봇이 주변 에이전트가 다양한 계획된 경로에 대해 어떻게 반응할지 시뮬레이션할 수 있도록 하여, 역동적 환경에서의 더 나은 경로 계획을 지원하기 위해.
• 수동으로 설정된 사회력 또는 충돌 회피 모델에 의존하는 대신, 관찰된 상호작용에서 실제 세계의 반응 패턴을 학습하기 위해.
• 보행자, 자전거 운전자, 축사 동물 등 이질적인 에이전트 유형 간의 일반화를 가능하게 하기 위해.
• 에이전트 상호작용 역학에 대한 명시적 가정 없이도 상태 전이를 기반으로 시뮬레이션할 수 있도록 하기 위해.

제안 방법

• 모델은 추론 중에 로봇의 계획된 향후 행동을 입력 토큰으로 포함하는 것으로 순환 신경망(RNN)을 확장한다.
• 모든 에이전트의 과거 궤적을 공간적 및 시간적 관계를 포함하여 표현하기 위해 시공간 그래프 표현을 사용한다.
• 실제로 로봇이 군중과 축사와 상호작용하는 데이터셋을 기반으로 훈련하여, 특정 로봇 동작에 대한 에이전트 반응의 분포를 학습한다.
• 생성적 접근 방식을 통해 예측된 반응 분포에서 샘플링이 가능해지며, 이는 다양한 로봇 경로에 대한 시뮬레이션을 가능하게 한다.
• 모델는 실제 및 시뮬레이션된 로봇 경로를 사용하여 평가되며, 예측된 에이전트 궤적을 참값과 비교한다.
• RRNN-Vel 버전은 특히 로봇 속도를 동작 입력의 일부로 포함하여 동적 운동에 대한 반응 모델링을 향상시킨다.

실험 결과

연구 질문

• RQ1 로봇의 계획된 동작이 입력으로 포함될 경우, 딥 러닝 모델이 개인의 반응을 향후 로봇 운동에 대해 예측할 수 있는가?
• RQ2 로봇의 행동을 포함시킬 경우, 로봇 운동을 忽시하는 모델에 비해 밀접한 거리 상호작용에서 예측 정확도가 어떻게 향상되는가?
• RQ3 훈련 데이터에 존재하지 않는 가상의 로봇 경로에 대해 모델이 에이전트 반응을 시뮬레이션할 수 있는가?
• RQ4 보행자, 자전거 운전자, 축사 동물과 같은 다양한 에이전트 유형 간에 모델이 일반화되는가?
• RQ5 모델을 사용하여 군중이나 축사의 상태 전이를 시뮬레이션할 수 있으며, 사회적 반응 인식을 고려한 반복적 경로 계획을 가능하게 하는가?

주요 결과

• 제안된 ResponseRNN 모델은 로봇의 계획된 동작을 입력으로 포함시킴으로써, 밀접한 거리 상호작용에서 궤적 예측 정확도를 향상시킨다.
• 모델은 시뮬레이션된 로봇 경로에 대한 에이전트 반응을 성공적으로 예측하며, 시각적 결과에서는 로봇 방향 변화에 대응해 현실적인 방향 전환 회피 행동이 나타난다.
• ARATH 및 SDD 데이터셋에서 검증된 바에 따르면, 인간과 축사 동물 포함 다양한 에이전트 유형 간의 일반화를 보여준다.
• 시뮬레이션된 반응은 일반적으로 기대되는 행동을 반영하며, 예를 들어 에이전트가 로봇을 피하기 위해 경로를 변경하는 경우가 많지만, 일부 실패 사례에서는 반응이 로봇의 경로와 일관성이 없는 경우가 있다.
• 모델는 상호작용 역학에 대한 가정 없이 상태 전이를 시뮬레이션할 수 있으며, 경로 계획자가 예측된 사회적 반응에 기반해 동작를 평가할 수 있도록 한다.
• 실패 사례로는 훈련 데이터에서 로봇 접근 각도와 속도의 다양성이 제한되어 있어, 시뮬레이션된 경로에 대해 일관성 없는 반응이 나타나는 경우가 있다.