[논문 리뷰] Rules of the Road: Predicting Driving Behavior with a Convolutional Model of Semantic Interactions

Joey Hong, Benjamin Sapp외 1명|arXiv (Cornell University)|2019. 06. 21.

Autonomous Vehicle Technology and Safety참고 문헌 36인용 수 21

한 줄 요약

이 논문은 3D 엔티티 상태와 의미적 지ap 정보(차선, 신호등)를 통합된 상향식 격자로 인코딩하여, 종단간 학습을 가능하게 하는 컨볼루션 신경망을 제안한다. 이는 복잡한 시나리오 간 상호작용을 학습함으로써 향후 5초 이내의 궤적 예측에서 최신 기술 수준의 성능을 달성한다. 모델은 풍부한 환경적 맥락과 불확실성 인식 분포 출력을 활용하여 기준 모델을 능가한다.

ABSTRACT

We focus on the problem of predicting future states of entities in complex, real-world driving scenarios. Previous research has used low-level signals to predict short time horizons, and has not addressed how to leverage key assets relied upon heavily by industry self-driving systems: (1) large 3D perception efforts which provide highly accurate 3D states of agents with rich attributes, and (2) detailed and accurate semantic maps of the environment (lanes, traffic lights, crosswalks, etc). We present a unified representation which encodes such high-level semantic information in a spatial grid, allowing the use of deep convolutional models to fuse complex scene context. This enables learning entity-entity and entity-environment interactions with simple, feed-forward computations in each timestep within an overall temporal model of an agent's behavior. We propose different ways of modelling the future as a distribution over future states using standard supervised learning. We introduce a novel dataset providing industry-grade rich perception and semantic inputs, and empirically show we can effectively learn fundamentals of driving behavior.

연구 동기 및 목표

• 고해상도 3D 인식과 의미적 지도를 포함한 대규모이고 현실적인 데이터셋이 주행 행동 예측 분야에서 부족한 문제를 해결하기 위해.
• 공간 격자 표현을 사용하여 엔티티 동역학, 상호작용, 환경 맥락을 통합적으로 모델링하는 유일한 딥 러닝 프레임워크를 개발하기 위해.
• 파arametric 및 non-parametric 출력 분포를 통해 불확실성과 다중 모달성을 모델링하여 향후 상태 예측을 향상시키기 위해.
• 의미적 지도와 동적 에이전트 맥락을 통합함으로써 기준 모델 대비 예측 정확도 향상이 실제로 이루어지는지 경험적으로 검증하기 위해.
• 향후 자율주행 분야 연구를 지원하기 위해 고도의 인식 및 의미적 입력을 포함한 대규모 산업 수준의 데이터셋을 공개하기 위해.

제안 방법

• 모델은 대상 차량과 주변 에이전트의 과거 및 현재 3D 상태와 의미적 지도 특징(차선, 신호등, 정지선)을 상향식 공간 격자 표현으로 인코딩한다.
• 딥 컨볼루션 신경망이 격자를 처리하여 각 타임스텝에서 피드포워드 추론을 통해 시나리오 맥락, 에이전트 간 상호작용, 시간 동역학을 통합적으로 모델링한다.
• 모델은 여러 출력 헤드를 사용하여 향후 상태를 분포로 예측한다: 각 타임스텝별 정규분포, 혼합 정규분포(GMM-CVAE), 궤적 샘플링을 위한 점유 격자 맵.
• 다양한 샘플링 절차를 통해 학습된 분포에서 궤적을 샘플링하며, 이는 다중 모달 예측 평가를 가능하게 한다.
• 모델은 지도 학습을 통해 진짜 향후 상태의 가능도를 최대화하도록 훈련되며, 분포 출력에 맞는 손실 함수가 적용된다.
• 제거 실험을 통해 입력 채널(대상 상태, 다른 에이전트, 도로 지도)의 기여도를 분리하여 성능에 미치는 영향을 정량화한다.

실험 결과

연구 질문

• RQ1 통합된 공간 격자 표현은 종단간 주행 행동 예측을 위해 동적 에이전트 상태와 정적 의미적 지도 정보를 효과적으로 인코딩할 수 있는가?
• RQ2 원시 운동학적 정보만을 사용하는 모델에 비해 의미적 지도 데이터와 다중 에이전트 맥락을 통합함으로써 향후 궤적 예측 정확도는 얼마나 향상되는가?
• RQ3 다양한 출력 표현 방식(Gaussian, 혼합 정규분포, 점유 격자) 중 어떤 것이 실제 주행 행동의 다중 모달성과 불확실성을 가장 잘 포괄하는가?
• RQ4 대규모이고 현실적인 데이터셋으로 훈련된 딥 컨볼루션 아키텍처는 다양한 도심 환경에 일반화되어 장기 예측(최대 5초) 성능을 향상시키는가?
• RQ5 제거 실험에서 개별 입력 구성요소(예: 도로 지도, 다른 에이전트)의 기여도는 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 다른 에이전트의 동적 맥락을 추가함으로써, 대상 상태만을 사용하는 기준 모델 대비 5초 예측 정확도가 평균 L2 오차 기준 0.55m 향상되었다.
• 도로 지도를 통합함으로써 오차가 추가로 0.33m 감소하여 의미적 시나리오 맥락이 정확한 예측에 결정적인 역할을 한다는 것을 입증했다.
• 장기 예측 수준(4–5초)에서 선형 기준 모델과 비공개 산업 모델 모두를 능가하여, 더 뛰어난 의미적 이해 능력을 보였다.
• 상위 5개 궤적 선택 전략은 항상 단일 MAP 궤적 예측보다 우수했으며, 다중 모달 출력의 가치가 오차 감소에 기여한다는 것을 확인했다.
• 정성적 결과는 모델이 복잡한 교차로에서도 차선 유지, 신호등 준수, 차선 변경과 같은 합리적인 주행 행동을 학습하고 있음을 보여주었다.
• 지도만으로 교통 규칙이 모호할 경우(예: 대향차선 진입 불법 전환 예측) 실패 케이스가 관찰되어 지도 기반 추론의 한계를 드러냈다.