[논문 리뷰] Improving Movement Predictions of Traffic Actors in Bird's-Eye View Models using GANs and Differentiable Trajectory Rasterization

Eason Wang, Henggang Cui외 4명|arXiv (Cornell University)|2020. 04. 14.

Autonomous Vehicle Technology and Safety참고 문헌 36인용 수 7

한 줄 요약

이 논문은 다양한 경로 레이터라이저를 사용하여 생성된 경로를 레이터 공간으로 투영함으로써 장면 준수 경로 생성이 가능한 새로운 GAN 기반 아키텍처인 Scene-Compliant GAN (SC-GAN)을 제안한다. 이 방법은 생성자로의 기울기 흐름을 가능하게 하고 판별자의 작업을 단순화함으로써 예측 정확도와 현실성을 향상시켜 실제 데이터에서 최신 GAN 기반 베이스라인을 능가한다.

ABSTRACT

One of the most critical pieces of the self-driving puzzle is the task of predicting future movement of surrounding traffic actors, which allows the autonomous vehicle to safely and effectively plan its future route in a complex world. Recently, a number of algorithms have been proposed to address this important problem, spurred by a growing interest of researchers from both industry and academia. Methods based on top-down scene rasterization on one side and Generative Adversarial Networks (GANs) on the other have shown to be particularly successful, obtaining state-of-the-art accuracies on the task of traffic movement prediction. In this paper we build upon these two directions and propose a raster-based conditional GAN architecture, powered by a novel differentiable rasterizer module at the input of the conditional discriminator that maps generated trajectories into the raster space in a differentiable manner. This simplifies the task for the discriminator as trajectories that are not scene-compliant are easier to discern, and allows the gradients to flow back forcing the generator to output better, more realistic trajectories. We evaluated the proposed method on a large-scale, real-world data set, showing that it outperforms state-of-the-art GAN-based baselines.

연구 동기 및 목표

• 자율주행 시스템에서 교통 참가자의 향후 운동 예측의 현실성과 장면 준수성을 향상시키기 위해.
• 기존 GAN 기반 모델이 자주 지도 및 물리적 제약을 위반하는 경로를 생성하는 한계를 해결하기 위해.
• 예측된 경로를 레이터 공간으로의 기울기 가능한 투영을 통해 판별자의 작업을 단순화하기 위해.
• 생성자로의 기울기 흐름을 향상시켜 더 현실적이고 준수하는 경로 출력을 가능하게 하기 위해.
• 대규모 실세계 자율주행 차량 데이터셋에서 제안된 방법을 평가하여 최신 기술 대비 뛰어난 성능을 입증하기 위해.

제안 방법

• 모델은 환경의 비행기 시점(BEV) 레이터라이즈드 장면 표현에 조건부된 GAN 아키텍처를 사용한다.
• 새로운 기울기 가능한 레이터라이저 모듈이 생성된 경로를 레이터 공간으로 투영하여 판별자로부터 생성자로의 기울기 흐름을 가능하게 한다.
• 판별자는 장면 컨텍스트 이미지와 레이터라이즈된 경로 점유 격자 양쪽에 조건부로 설정되어 장면 준수성을 평가할 수 있도록 한다.
• 생성자는 미래 경로를 생성하고, 이 경로는 기울기 가능한 레이터라이저를 통해 처리된 후 판별자에서 실제 경로 격자와 비교된다.
• 판별자는 DCGAN 아키텍처를 사용하여 실제 및 생성된 경로 격자 간을 구분하며, 기울기 가능한 레이터라이저 덕분에 효과적인 역전파가 가능하다.
• 학습 목표는 생성자에 대한 적대적 손실과 인지적 손실을 결합하여 경로의 현실성과 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 기울기 가능한 경로 레이터라이저가 비행기 시점 모델에서 GAN 기반 운동 예측의 현실성과 장면 준수성을 향상시키는가?
• RQ2 레이터라이즈된 경로에 조건부로 설정된 판별자가 생성된 운동 예측의 품질과 일관성을 향상시키는가?
• RQ3 제안된 SC-GAN 모델은 최신 기술 대비 경로 정확도와 장면 준수성 측면에서 어떻게 비교되는가?
• RQ4 MobileNet 또는 단일 채널 집계와 같은 아키텍처 선택의 영향은 무엇인가?
• RQ5 기울기 가능한 레이터라이저가 운동 예측 GAN에서 더 나은 기울기 흐름과 더 안정적인 학습을 가능하게 하는가?

주요 결과

• SC-GAN은 100m 예측 수평선에서 최저의 최종 오차(1.20 m)를 기록하여 다음으로 우수한 베이스라인인 GAN-concat-scene(4.61 m 오차)를 크게 앞섰다.
• 모델은 장면 준수 오차를 0.58 m로 줄여, 예측된 경로가 지도 및 차선 제약과 매우 일치함을 시사했다.
• 제거 실험에서 장면 컨텍스트를 판별자에서 생략한 SC-GAN -no-scene는 1.20 m의 오차를 기록하여 전체 SC-GAN 모델보다 유의미하게 열 劣했다.
• 경로 채널에 대해 최대값 집계를 사용한 SC-GAN -1channel은 3.52 m의 높은 ℓ₂ 오차를 기록했고, 낮은 판별자 분별력으로 인해 질서 없는 또는 정지된 경로를 생성했다.
• 판별자에서 MobileNet을 사용한 SC-GAN -MNet는 표준 DCGAN 기반 판별자보다 성능이 열 劣했으며, DCGAN이 더 뛰어난 안정성과 기울기 품질을 제공함을 시사했다.
• 정성적 분석을 통해 SC-GAN은 교차로에서 좌회전 및 우회전을 정확히 예측한 반면, GAN-concat-scene는 차선을 횡단하거나 잘못된 방향으로 전환하는 비준수 경로를 자주 예측했다.