[논문 리뷰] Motion Prediction using Trajectory Sets and Self-Driving Domain Knowledge

Freddy A. Boulton, Elena Corina Grigore외 1명|arXiv (Cornell University)|2020. 06. 08.

Autonomous Vehicle Technology and Safety참고 문헌 30인용 수 6

한 줄 요약

이 논문은 분류 기반 궤적 세트 프레임워크에 지도 기반 도메인 지식을 통합하여 자율 주행의 운동 예측을 향상시킨다. 지도 데이터를 사용한 사전 훈련을 위해 오프로드 보조 손실을 도입하여 소규모 데이터셋에서의 성능을 향상시키며, 궤적 간 관계를 모델링하기 위해 가중치가 부여된 교차 엔트로피 손실을 탐구한다. 또한 순서 회귀가 더 많은 앵커 궤적(이전에 사용된 것보다 약 10배 많음)을 활용할수록 크게 향상됨을 보여준다.

ABSTRACT

Predicting the future motion of vehicles has been studied using various techniques, including stochastic policies, generative models, and regression. Recent work has shown that classification over a trajectory set, which approximates possible motions, achieves state-of-the-art performance and avoids issues like mode collapse. However, map information and the physical relationships between nearby trajectories is not fully exploited in this formulation. We build on classification-based approaches to motion prediction by adding an auxiliary loss that penalizes off-road predictions. This auxiliary loss can easily be pretrained using only map information (e.g., off-road area), which significantly improves performance on small datasets. We also investigate weighted cross-entropy losses to capture spatial-temporal relationships among trajectories. Our final contribution is a detailed comparison of classification and ordinal regression on two public self-driving datasets.

연구 동기 및 목표

• 분류 기반 운동 예측에서 지도 및 궤적 기하학을 명시적으로 활용하지 못하는 문제를 해결한다.
• 예를 들어 오프로드 영역를 사용하여 지도 정보만으로 사전 훈련이 가능한 방식으로 소규모 데이터셋에서의 일반화 성능을 향상시킨다.
• 예측된 궤적 간 공간-시간적 관계를 인코딩하기 위해 가중치가 부여된 교차 엔트로피 손실을 탐색한다.
• 공개된 자율 주행 데이터셋에서 분류와 순서 회귀 간의 엄밀한 비교를 통해 확장성과 성능을 평가한다.
• 궤적 세트 크기가 모델 성능에 미치는 영향, 특히 모드 붕괴를 완화하고 다양성을 향상시키는 데 미치는 영향을 조사한다.

제안 방법

• 드라이브 가능한 영역 외부에 예측이 떨어지는 것을 방지하기 위해 지도 데이터만으로 지도되는 보조 오프로드 손실을 도입한다.
• 실제 궤적 데이터로의 피니튜닝 이전에 지도 정보(오프로드 영역)만을 사용하여 운동 예측 모델을 사전 훈련한다.
• 예측 궤적과 진짜 궤적 간의 거리에 비례하여 페널티를 조정하는 가중치가 부여된 교차 엔트로피 손실을 설계하여 공간적 근접도를 강조한다.
• 이전 연구 [26]에서 제안한 오프로드 손실을 궤적 세트에 대한 분류로 확장하여 지도 사전 지식을 통합한 엔드 투 엔드 훈련을 가능하게 한다.
• nuScenes와 Argoverse에서 두 가지 최신 기술 모델—CoverNet(궤적 세트에 대한 분류)과 MultiPath(앵커 기반 순서 회귀)—를 구현하고 비교한다.
• 궤적 세트 크기(앵커 수 또는 클래스 수)를 하이퍼파라미터로 사용하여 성능 및 다양성에 미치는 영향을 연구한다.

실험 결과

연구 질문

• RQ1 지도 데이터를 활용하는 보조 오프로드 손실이 소규모 데이터셋에서 운동 예측 성능을 향상시킬 수 있는가?
• RQ2 궤적 근접도를 고려한 가중치가 부여된 교차 엔트로피 손실이 표준 교차 엔트로피보다 예측 정확도와 다양성 향상에 기여하는가?
• RQ3 궤적 세트 클래스 수(또는 앵커 수)가 분류 및 순서 회귀 프레임워크에서 성능에 미치는 영향은 어떠한가?
• RQ4 매우 많은 수의 궤적 앵커를 사용할 경우, 순서 회귀가 분류 기반 운동 예측을 능가하는가?
• RQ5 지도 전용 데이터로의 사전 훈련이 저데이터 환경에서 운동 예측 모델의 일반화 성능 향상에 기여하는가?

주요 결과

• 지도 데이터만으로 사전 훈련이 가능한 오프로드 보조 손실은 소규모 데이터셋, 특히 저데이터 환경에서 성능 향상에 뚜렷한 기여를 한다.
• 오프로드 손실과 함께 사전 훈련을 수행하면 일반화 성능이 향상되고 과적합이 감소하며, 특히 더 작은 nuScenes 데이터셋에서 두드러진다.
• 근접한 오차(근접한 실수)를 페널티로 부여하는 가중치가 부여된 교차 엔트로피 손실은 표준 교차 엔트로피보다 성능 향상에 기여하지 못했으며, 이 형태에 한계가 있음을 시사한다.
• 순서 회귀(MultiPath)는 최대 1571개의 앵커(ε=2m)를 사용할 경우 이전 구현에서 64개 앵커를 초과하면 성능 저하가 발생했던 것과는 달리 뛰어난 성능을 기록한다.
• nuScenes와 Argoverse 양쪽 데이터셋에서 최고의 성능은 ε=2m에서 달성되었으며, 이는 커버리지와 일반화 사이의 균형을 잘 맞추고 있으며, 더 작은 ε 설정에 비해 과적합이 현저히 적었다.
• ε=2m를 사용한 분류 기반 모델(CoverNet)은 경쟁 가능한 성능를 기록했지만, 큰 수의 앵커를 사용한 순서 회귀는 특히 minADE 및 MissRate 지표에서 더 강력한 성능를 보였다.