[논문 리뷰] DSDNet: Deep Structured self-Driving Network

Wenyuan Zeng, Shenlong Wang외 4명|arXiv (Cornell University)|2020. 08. 13.

Autonomous Vehicle Technology and Safety참고 문헌 62인용 수 12

한 줄 요약

DSDNet은 단일 신경망을 사용하여 자율주행차량의 객체 검출, 다중모odal 운동 예측 및 안전한 운동 계획을 통합적으로 수행하는 통합된 딥러닝 프레임워크이다. 이는 샘플 기반 추론을 사용하는 깊이 있는 구조적 에너지 기반 모델을 활용하여 사회적 상호작용과 불확실성을 포착하며, nuScenes, ATG4D 및 CARLA-Precog에서 예측 정확도와 충돌 회피 능력 측면에서 이전 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

In this paper, we propose the Deep Structured self-Driving Network (DSDNet), which performs object detection, motion prediction, and motion planning with a single neural network. Towards this goal, we develop a deep structured energy based model which considers the interactions between actors and produces socially consistent multimodal future predictions. Furthermore, DSDNet explicitly exploits the predicted future distributions of actors to plan a safe maneuver by using a structured planning cost. Our sample-based formulation allows us to overcome the difficulty in probabilistic inference of continuous random variables. Experiments on a number of large-scale self driving datasets demonstrate that our model significantly outperforms the state-of-the-art.

연구 동기 및 목표

• 자율주행을 위한 객체 검출, 운동 예측 및 운동 계획을 통합적으로 수행하는 통합된 딥러닝 프레임워크를 개발한다.
• 복잡한 교통 참가자 간의 사회적 상호작용을 校정된, 다중모달 미래 예측과 함께 모델링한다.
• 불확실성과 상호작용 인식 미래 분포를 명시적으로 통합하여 운동 계획의 안전성을 향상시킨다.
• 고차원 시나리오에서 연속적인 궤적에 대한 확률적 추론의 계산적 과제를 해결한다.
• 실제 및 시뮬레이션 데이터셋에서의 공동 학습의 효과성을 입증하며, 이전 방법들에 비해 안전성과 정확도가 향상됨을 보여준다.

제안 방법

• 모든 참가자에 대한 향후 궤적의 연합 분포를 매개변수화하기 위해 깊이 있는 구조적 에너지 기반 모델(EBM)을 사용하여 상호작용을 명시적으로 모델링한다.
• 연속적인 궤적을 샘플링하고 민감도 전파를 사용하여 효율적으로 근사 분포를 계산하는 샘플 기반 추론 프레임워크를 적용한다.
• 데이터 기반으로 학습된 비용과 인간의 사전 지식(예: 충돌 회피, 교통 규칙)을 조합한 구조적 운동 계획 비용 함수를 도입한다.
• LiDAR 및 고정밀 지도 입력을 처리하기 위해 공유된 CNN 기반 아키텍처를 활용하여 검출, 예측 및 계획의 엔드 투 엔드 공동 최적화를 가능하게 한다.
• 추론 중에 참가자 간에 불확실성과 상호작용 정보를 샘플된 궤적 집합을 통해 메시지 전파 방식으로 전파한다.
• 다중모달 예측을 위해 조건부 VAE 유사 잠재 공간을 사용하지만, 암시적 분포 대신 샘플된 궤적 위에 명시적이고 비모수적 모델링을 적용한다.

실험 결과

연구 질문

• RQ1 단일 딥 네트워크가 자율주행에서 인식, 운동 예측 및 계획을 효과적으로 통합할 수 있는가?
• RQ2 교통 참가자 간의 사회적 상호작용을 校정된 불확실성과 함께 다중모달 미래 예측에 명시적으로 모델링할 수 있는가?
• RQ3 다중모달 미래 예측을 통합함으로써 운동 계획의 안전성과 성능이 어느 정도 향상되는가?
• RQ4 연속 궤적에 대한 샘플 기반 추론이 고차원 운동 예측에서 전통적 확률적 추론에 비해 효율적이고 확장 가능한 대안이 될 수 있는가?
• RQ5 학습된 비용과 인간 사전 지식을 조합한 구조적 계획 비용이 충돌 회피 및 교통 규칙 준수에 어떻게 기여하는가?

주요 결과

• DSDNet은 nuScenes에서 예측 충돌률 0.2‰을 기록하여 이전 최고 성능 방법들보다 뚜렷이 뛰어나며, 다중모달성만 모델링할 경우 2.4‰, 상호작용 모델링 없이 경우 4.9‰의 충돌률을 보였다.
• 다중모달성과 쌍별 상호작용 모델링을 모두 포함함으로써 예측 L2 오차는 1.22m로 감소하였으며, 둘 다 사용하지 않을 경우 1.28m로 증가하였다.
• 다중모달 예측을 통합한 운동 계획은 충돌률을 0.26%로 낮추었고, 가장 가능성 있는 예측만 사용할 경우 0.45%로 높았다.
• 입력 해상도를 더 작게(500×500 vs. 1000×1000) 사용함에도 불구하고, Megvii 등의 최신 LiDAR 검출기 수준의 검출 성능를 달성하여, 다중태스크 학습으로 인한 성능 저하가 없음을 입증하였다.
• 정성적 결과에서는 DSDNet이 교차로에서 차량의 전환 또는 양보 행동과 같은 다중모달 행동을 포착하며, 부드럽고 차선 준수 및 충돌 없는 궤적을 생성함을 보였다.
• 제거 분석 결과, 다중모달 예측과 상호작용 모델링이 모두 충돌률 감소에 필수적이며, 두 요소를 함께 사용했을 때 가장 뚜렷한 성과 향상이 관찰되었다.