[논문 리뷰] SoPhie: An Attentive GAN for Predicting Paths Compliant to Social and Physical Constraints

Amir Sadeghian, Vineet Kosaraju외 4명|arXiv (Cornell University)|2018. 06. 04.

Autonomous Vehicle Technology and Safety인용 수 4

한 줄 요약

SoPhie는 물리적 환경 맥락과 에이전트 간 사회적 상호작용을 동시에 모델링하여 다수의 물리적이고 사회적으로 타당한 미래 경로를 예측하는 주의 메커니즘을 통합한 GAN 프레임워크를 제안한다. 환경 특징에 대한 물리적 주의와 이웃 에이전트의 동적 특징에 대한 사회적 주의를 통해 장면 이미지와 에이전트 경로 이력 정보를 융합함으로써, 경로 예측 벤치마크에서 최신 기술 수준의 성능을 달성하며 예측 오차와 충돌률을 크게 감소시킨다.

ABSTRACT

This paper addresses the problem of path prediction for multiple interacting agents in a scene, which is a crucial step for many autonomous platforms such as self-driving cars and social robots. We present \ extit{SoPhie}; an interpretable framework based on Generative Adversarial Network (GAN), which leverages two sources of information, the path history of all the agents in a scene, and the scene context information, using images of the scene. To predict a future path for an agent, both physical and social information must be leveraged. Previous work has not been successful to jointly model physical and social interactions. Our approach blends a social attention mechanism with a physical attention that helps the model to learn where to look in a large scene and extract the most salient parts of the image relevant to the path. Whereas, the social attention component aggregates information across the different agent interactions and extracts the most important trajectory information from the surrounding neighbors. SoPhie also takes advantage of GAN to generates more realistic samples and to capture the uncertain nature of the future paths by modeling its distribution. All these mechanisms enable our approach to predict socially and physically plausible paths for the agents and to achieve state-of-the-art performance on several different trajectory forecasting benchmarks.

연구 동기 및 목표

• 복잡한 환경에서 상호작용하는 다수의 에이전트에 대한 미래 경로를 예측하는 문제에 대응하기 위해.
• 경로 예측에서 장애물, 지형 등의 물리적 제약 조건과 개인 공간, 협업 등의 사회적 상호작용을 동시에 모델링하기 위해.
• 단일 예측점이 아닌 다양한 현실적인 경로 분포를 생성하기 위해.
• 장면 맥락과 에이전트 상호작용에 대한 주의 메커니즘을 통합함으로써 성능 향상과 해석 가능성 향상을 도모하기 위해.
• SDD, ETH, ZARA를 포함한 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모델은 상향 시각적 이미지에서의 장면 맥락을 처리하기 위해 시각적 인코더를 사용하여 에이전트 운동에 관련된 공간적 특징을 추출한다.
• 물리적 주의 메커니즘은 장면 이미지의 주목할 만한 영역(예: 곡선, 보행로)을 강조하여 경로 예측을 안내한다.
• 사회적 주의 메커니즘은 주변 에이전트의 동적 경로 정보를 집계하며, 영향력(예: 앞서 가는 에이전트가 우선순위를 가짐)에 따라 가중치를 적용한다.
• 이러한 이중 모odal의 주의 특징는 융합되어 순차적 운동 동역학을 모델링하기 위해 LSTM 기반 생성기 네트워크에 입력된다.
• GAN 프레임워크를 활용하여 디스criminator가 생성된 경로의 현실성을 평가함으로써, 모델이 타당한 미래 경로의 분포를 학습할 수 있도록 한다.
• 생성기는 다양한 고품질의 경로 샘플을 생성하고, 디스criminator는 물리적·사회적 타당성을 보장한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크가 물리적 환경 제약 조건과 사회적 상호작용을 동시에 모델링하여 경로 예측 성능을 향상시킬 수 있는가?
• RQ2 물리적 주의와 사회적 주의 메커니즘이 미래 경로 예측의 정확성과 설명 가능성에 어떻게 기여하는가?
• RQ3 자기재귀적 또는 단일 경로 모델 대비 GAN 기반 아키텍처가 얼마나 다양한 현실적이고 타당한 경로 분포를 생성할 수 있는가?
• RQ4 전체 장면 맥락과 모든 에이전트의 상호작용을 통합하면 국소적 이웃 정보에 의존하는 모델보다 성능이 향상되는가?
• RQ5 모델의 생성 성분을 활용해 소수의 샘플로도 장면 내 통과 가능한 영역을 추론할 수 있는가?

주요 결과

• SoPhie는 SDD, ETH, ZARA 벤치마크에서 최신 기술 수준의 성능을 달성하여 S-GAN 대비 평균 이격 오차(ADE)를 최대 18.5% 감소시켰다.
• 스탠포드 드론 데이터셋의 복잡한 장면에서 SoPhie는 LSTM의 평균 오차 3.631 픽셀에서 1.464 픽셀로 감소시켜 59.6% 향상된 성능을 보였다.
• BIWI/ETH에서의 충돌률 평가에서 SoPhie는 프레임당 충돌하는 보행자 평균 비율을 S-GAN의 29.29%에서 15.61%로 감소시켜 사회적 타당성 향상을 입증했다.
• 물리적 주의 메커니즘이 잘못된 예측을 성공적으로 수정한다—예를 들어 장애물을 가로질러 가는 대신 곡선 경로를 따르도록 한다.
• 디스criminator 기반의 생성 경로 검증을 통해 단지 30개의 초기 샘플로도 정확하게 통과 가능한 영역을 식별하는 해석 가능한 통과 가능성 지도를 생성할 수 있었다.
• 정성적 분석 결과, 물리적 주의와 사회적 주의 메커니즘이 이전 모델인 Social GAN의 결함을 보완하며 특히 곡선 경로와 충돌 회피에서 성능 향상을 보였다.