[논문 리뷰] Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks

Agrim Gupta, Justin C. Johnson외 3명|arXiv (Cornell University)|2018. 03. 28.

Autonomous Vehicle Technology and Safety인용 수 8

한 줄 요약

이 논문은 다수의 보행자들이 혼잡한 환경에서 다양한 사회적으로 타당한 궤적을 예측하기 위해 새로운 풀링 메커니즘과 다양성 손실을 갖춘 생성적 적대적 네트워크인 Social GAN을 제안한다. RNN 기반의 생성기와 판별기를 조합함으로써, 복잡한 사회적 상호작용을 모델링하고, 다중모달이며 충돌이 없는 미래 경로를 생성하며, 정확도, 다양성, 효율성 면에서 이전 방법들을 능가한다.

ABSTRACT

Understanding human motion behavior is critical for autonomous moving platforms (like self-driving cars and social robots) if they are to navigate human-centric environments. This is challenging because human motion is inherently multimodal: given a history of human motion paths, there are many socially plausible ways that people could move in the future. We tackle this problem by combining tools from sequence prediction and generative adversarial networks: a recurrent sequence-to-sequence model observes motion histories and predicts future behavior, using a novel pooling mechanism to aggregate information across people. We predict socially plausible futures by training adversarially against a recurrent discriminator, and encourage diverse predictions with a novel variety loss. Through experiments on several datasets we demonstrate that our approach outperforms prior work in terms of accuracy, variety, collision avoidance, and computational complexity.

연구 동기 및 목표

• 혼잡한 환경에서 인간의 운동이 다중모달적이고 사회적으로 제약을 받는 상황에서, 다수의 사회적으로 타당한 미래 궤적을 예측하는 문제에 대응하기 위해.
• 이전 방법들이 국소적 주변 환경에 집중하고 L2 손실로 인해 평균 행동을 학습한다는 한계를 극복하기 위해.
• 사회적 규범을 암묵적으로 포착하는 데이터 기반 접근을 통해, 환경 내 모든 보행자 간의 전역 상호작용을 모델링하기 위해.
• 적대적 훈련과 다양한 손실을 통해 다양하고 전역적으로 일관되며 충돌이 없는 궤적 예측을 생성하기 위해.
• 실제 혼잡한 시나리오 데이터셋에서 궤적 예측 정확도, 다양성, 계산 효율성을 향상시키기 위해.

제안 방법

• 관측된 운동 역사에서 미래 궤적을 예측하기 위해 시퀀스-투-시퀀스 RNN 인코더-디코더 아키텍처를 생성기로 사용한다.
• 모델이 집단적 사회적 역학을 포착할 수 있도록, 환경 내 모든 보행자에 걸쳐 정보를 집계하는 새로운 글로벌 풀링 메커니즘이 도입된다.
• 재귀적 판별기가 예측된 궤적의 현실성을 평가하며, 적대적 훈련을 통해 사회적 타당성을 강제한다.
• 생성기가 가능성이 있는 궤적 공간 전반에 걸쳐 예측을 퍼트리도록 유도하기 위해 다양성 손실이 도입된다.
• 생성기와 판별기가 적대적 손실을 기반으로 함께 훈련되며, 생성기는 판별기를 속이도록 학습되어 다양한 사회적으로 타당한 출력을 생성한다.
• 운동 속성(예: 방향, 속도 등)의 분리 가능성을 분석하기 위해 잠재 공간 탐색을 수행한다.

실험 결과

연구 질문

• RQ1 적대적 생성 네트워크 기반 프레임워크는 다중모달 보행자 궤적을 효과적으로 모델링하면서도 사회적 타당성을 보장할 수 있는가?
• RQ2 딥 러닝 모델은 계산적으로 효율적인 방식으로 다수의 보행자 간 전역 사회적 상호작용을 어떻게 포착할 수 있는가?
• RQ3 적대적 훈련과 다양성 손실은 궤적 예측의 다양성과 현실성에 얼마나 기여하는가?
• RQ4 모델은 병합, 그룹 회피, 인물 따라가기와 같은 복잡한 실세계 시나리오에 일반화될 수 있는가?
• RQ5 잠재 공간은 어떻게 구조화되어 있으며, 방향과 속도와 같은 속성을 제어하기 위해 분리 가능할 수 있는가?

주요 결과

• Social GAN은 다양한 실세계 혼잡한 시나리오 데이터셋에서 궤적 예측 정확도 면에서 최신 기술 수준을 달성하며, 평균 및 최소 이격 오차 모두에서 이전 방법들을 능가한다.
• 샘플을 통해 느리게 움직이기, 방향 전환, 속도 조절 등의 다양한 방지 전략을 보여주는 바, 모델은 다양하고 전역적으로 일관되며 사회적으로 타당한 궤적을 생성한다.
• 잠재 공간 분석 결과 특정 방향이 방향 또는 속도 변화와 같은 운동 속성의 변화와 대응함을 확인하여, 분리 가능하고 해석 가능한 표현을 나타낸다.
• 제안된 다양성 손실은 정확도를 희생시키지 않고도 예측의 다양성을 크게 향상시켜, 다수의 가능성이 있는 미래를 커버할 수 있도록 한다.
• 글로벌 풀링 메커니즘 덕분에 모델은 국소적 주변 환경을 넘어서 사회적 상호작용을 고려할 수 있어, 더 일관되고 현실적인 공동 예측을 가능하게 한다.
• 모델은 복도에서 사람들이 합류하는 것, 그룹을 피하는 것, 인물을 따라가는 것과 같은 복잡한 시나리오를 성공적으로 처리하며, 실제 환경에서의 시야 제한 문제는 모델의 관측 범위에 영향을 주지 않는다는 점을 보여준다.