[논문 리뷰] SimAug: Learning Robust Representations from Simulation for Trajectory Prediction

Junwei Liang, Lu Jiang외 1명|arXiv (Cornell University)|2020. 04. 04.

Video Surveillance and Tracking Methods참고 문헌 75인용 수 15

한 줄 요약

이 논문은 실세계 카메라 시야에서 예측하지 않은 환경에서도 강건한 일반화 성능을 달성하기 위해 3D 시뮬레이션 데이터만으로 궤적 예측 모델을 훈련시키는 데이터 증강 방법 SimAug를 제안한다. 적대적 편향과 시점별 하드 예외 마이닝을 특성의 볼록 조합을 통해 결합함으로써 SimAug는 실세계 훈련 데이터 없이도 Stanford Drone 및 VIRAT/ActEV 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 새로운 카메라 시점에 대해 강력한 제로샷 일반화 성능을 입증한다.

ABSTRACT

This paper studies the problem of predicting future trajectories of people in unseen cameras of novel scenarios and views. We approach this problem through the real-data-free setting in which the model is trained only on 3D simulation data and applied out-of-the-box to a wide variety of real cameras. We propose a novel approach to learn robust representation through augmenting the simulation training data such that the representation can better generalize to unseen real-world test data. The key idea is to mix the feature of the hardest camera view with the adversarial feature of the original view. We refer to our method as SimAug. We show that SimAug achieves promising results on three real-world benchmarks using zero real training data, and state-of-the-art performance in the Stanford Drone and the VIRAT/ActEV dataset when using in-domain training data.

연구 동기 및 목표

• 실세계 배치에서 새로운 카메라 시점과 장면에 대해 궤적 예측 모델의 낮은 일반화 성능을 해결하기 위해.
• 실세계 데이터 피니팅 없이 3D 시뮬레이션 데이터에서 실세계 영상으로의 제로샷 전이를 가능하게 하기 위해.
• 인간 행동을 카메라 특성(시점, 장면 텍스처 등)과 분리하는 불변 표현을 학습함으로써 모델의 강건성을 향상시키기 위해.
• 시뮬레이션 전용 훈련 환경에서 일반화 성능을 향상시키는 효과적인 데이터 증강 전략을 개발하기 위해.
• 궤적 예측 분야에서 시뮬레이션 기반 학습을 위한 새로운 벤치마크를 설정하고, 실세계 데이터 없이도 효과성을 입증하기 위해.

제안 방법

• 3D 시뮬레이터(CARLA)를 사용하여 다양한 카메라 각도와 장면을 시뮬레이션하는 다중시점, 픽셀 정밀도의 세그먼테이션 특성을 생성한다.
• 원래 시점의 특성과 가장 하드한 카메라 시점의 특성을 볼록 조합을 통해 결합하는 새로운 증강 전략을 도입한다.
• 훈련 중 모델의 분류 손실을 최대화하는 카메라 시점을 식별함으로써 하드 시점 선택을 수행하여 가장 도전적인 시점에 집중한다.
• 백색 상자 공격 방법을 사용해 원래 시점의 특성에 적대적 편향을 적용함으로써 분포 이탈에 대한 강건성을 향상시킨다.
• 최종 모델는 증강된 궤적 분포 위에서 경험적 비지니얼 리스크를 최소화하도록 훈련되며, 적대적 훈련과 Mixup 원리를 활용한다.
• 조명 및 센서 노이즈에 민감도를 줄이기 위해 RGB 픽셀 대신 장면 세그먼테이션 특성을 사용함으로써 도메인 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 3D 시뮬레이션 데이터로만 훈련된 궤적 예측 모델이 새로운 카메라 시점과 장면을 가진 실세계 영상으로 효과적으로 일반화할 수 있는가?
• RQ2 시뮬레이션 환경에서의 데이터 증강은 카메라 시점 및 장면 외관의 변동성에 대해 어떻게 강건성을 향상시킬 수 있는가?
• RQ3 적대적 예외, 시점 선택, 다중시점 데이터 중 어떤 증강 구성 요소가 제로샷 일반화 성능 향상에 가장 기여하는가?
• RQ4 SimAug를 사용한 시뮬레이션 전용 훈련이 실세계 데이터 피니팅 모델과 비교해 표준 벤치마크에서 최신 기술 수준 성능을 달성하는가?
• RQ5 실세계 훈련 데이터가 없는 조건에서 제안된 방법이 기존의 데이터 증강 및 적대적 훈련 베이스라인을 초월할 수 있는가?

주요 결과

• SimAug는 실세계 훈련 데이터 없이도 Stanford Drone 데이터셋에서 최신 기술 수준 성능을 달성한다 (minADE 1: 15.7, minFDE 1: 30.2).
• VIRAT/ActEV 벤치마크에서 SimAug는 동일한 실세계 데이터로 훈련된 Multiverse 모델을 능가하며, 실세계 데이터 없이도 minADE 1: 21.7과 minFDE 1: 42.2의 성능을 기록한다.
• 실세계 데이터로 피니팅한 경우 SimAug는 VIRAT/ActEV에서 최고 성능을 기록하며, minADE 1: 10.27과 minFDE 1: 19.71에 도달한다.
• 제거 실험 결과, 적대적 공격이나 시점 선택을 제거하면 성능이 크게 저하되며, 특히 더 도전적인 Argoverse 데이터셋에서 두드러진다.
• 다중시점 데이터에 정면 시점(top-down view)을 포함시키면 성능 향상이 이루어지며, 임의의 편향이 Argoverse에서 특히 강건성 확보에 필수적이다.
• 이 방법은 강력한 제로샷 일반화 성능을 보이며, 모든 세 가지 벤치마크에서 표준 증강, 적대적 훈련, 모방 학습 베이스라인을 모두 능가한다.