[논문 리뷰] Drowned out by the noise: Evidence for Tracking-free Motion Prediction.

Ameni Trabelsi, J. Ross Beveridge외 1명|arXiv (Cornell University)|2021. 04. 16.

Autonomous Vehicle Technology and Safety참고 문헌 30인용 수 4

한 줄 요약

이 논문은 자율주행의 운동 예측에서 추적 시스템에 대한 의존성을 도전하며, 심지어 최소한의 추적 오차(1% 미만)라도 예측 성능을 떨어뜨린다는 것을 보여준다. 이는 노이즈가 있는 실제 환경 조건에서 추적 모듈이 없는 운동 예측 모델이 추적기 의존적 접근보다 뛰어난 성능을 보임을 시사하며, 정확도 향상과 내구성 향상을 위해 추적 모듈의 제거를 주장한다.

ABSTRACT

Autonomous driving consists of a multitude of interacting modules, where each module must contend with errors from the others. Typically, the motion prediction module depends on a robust tracking system to capture each agent's past movement. In this work, we systematically explore the importance of the tracking module for the motion prediction task and ultimately conclude that the tracking module is detrimental to overall motion prediction performance when the module is imperfect (with as low as 1% error). We explicitly compare models that use tracking information to models that do not across multiple scenarios and conditions. We find that the tracking information only improves performance in noise-free conditions. A noise-free tracker is unlikely to remain noise-free in real-world scenarios, and the inevitable noise will subsequently negatively affect performance. We thus argue future work should be mindful of noise when developing and testing motion/tracking modules, or that they should do away with the tracking component entirely.

연구 동기 및 목표

• 자율주행에서 불완전한 추적 시스템이 운동 예측 성능에 미치는 영향을 조사하는 것.
• 다양한 노이즈 조건 하에서 추적에 의존하는 모델과 의존하지 않는 모델을 비교하는 것.
• 실제 구현 시 노이즈로 인한 오차가 추적 정보의 이점을 상쇄하는지 여부를 판단하는 것.
• 내구성을 향상시키기 위해 운동 예측 파이프라인에서 추적 모듈을 제거할 것을 주장하는 것.

제안 방법

• 다양한 실제 주행 시나리오에서 추적 입력 유무에 따라 운동 예측 모델을 체계적으로 비교하는 것.
• 추적 데이터의 노이즈 수준을 제어하여 1%의 오차까지도 포함한 학습 및 평가를 수행하는 것.
• 직접 센서 입력에서 미래 경로를 예측하는 엔드 투 엔드 운동 예측 아키텍처를 사용하여 명시적 추적 과정을 생략하는 것.
• 청결한 상태와 노이즈 있는 추적 조건 하에서 표준 운동 예측 지표(예: ADE, FDE)를 사용해 성능을 평가하는 것.
• 추적 노이즈가 예측 정확도에 미치는 영향을 분리하여 분석하기 위한 아블레이션 스터디를 수행하는 것.

실험 결과

연구 질문

• RQ1 1%의 추적 오차조차도 운동 예측 성능에 어떤 영향을 미치는가?
• RQ2 추적 정보 사용이 운동 예측 성능을 향상시키거나 악화시키는 조건는 무엇인가?
• RQ3 실제 노이즈 환경에서 추적 없는 운동 예측 모델이 추적기 의존적 모델보다 뛰어나게 성능을 냈는가?
• RQ4 실제 자율주행 시스템에서 추적기가 노이즈가 없는 것으로 간주하는 가정은 타당한가?

주요 결과

• 추적 정보는 노이즈가 없는 조건에서만 운동 예측 성능을 향상시킬 뿐이며, 이러한 조건은 실제 구현에서는 현실적이지 않다.
• 심지어 1%의 추적 오차라도 운동 예측 성능을 심각하게 떨어뜨리며, 추적 정보 사용의 이점을 약화시킨다.
• 노이즈가 있는 환경에서는 추적 없는 운동 예측 모델이 항상 추적기 의존적 모델보다 뛰어난 성능을 보인다.
• 추적 시스템의 노이즈는 오차 전파를 유도하여 후속 운동 예측에 악영향을 미친다.
• 본 연구는 추적 모듈을 운동 예측 파이프라인에서 제거하여 내구성과 신뢰성을 향상시켜야 한다고 결론 내린다.