[논문 리뷰] PLOP: Probabilistic poLynomial Objects trajectory Planning for autonomous driving

Thibault Buhet, Émilie Wirbel외 2명|arXiv (Cornell University)|2020. 03. 09.

Autonomous Vehicle Technology and Safety참고 문헌 61인용 수 16

한 줄 요약

PLOP는 자율주행을 위한 단일 스텝, 앵커 기반 아님 궤도 예측 프레임워크를 제안하며, 다항식 궤도 제약 조건을 갖춘 확률적 가우시안 혼합 네트워크를 사용하여 차량 내 센서(카메라 및 라이다)만을 활용해 자동차 및 주변 차량의 다중 모달, 부드러운 궤도를 예측한다. 고정밀 지도를 사용하지 않음에도 불구하고 nuScenes에서 최신 기술 수준의 성능을 달성하여 최종 이격 오차 정확도(FDE)와 빠짐 비율에서 고정밀 지도 기반 방법을 능가한다.

ABSTRACT

To navigate safely in urban environments, an autonomous vehicle (ego vehicle) must understand and anticipate its surroundings, in particular the behavior and intents of other road users (neighbors). Most of the times, multiple decision choices are acceptable for all road users (e.g., turn right or left, or different ways of avoiding an obstacle), leading to a highly uncertain and multi-modal decision space. We focus here on predicting multiple feasible future trajectories for both ego vehicle and neighbors through a probabilistic framework. We rely on a conditional imitation learning algorithm, conditioned by a navigation command for the ego vehicle (e.g., "turn right"). Our model processes ego vehicle front-facing camera images and bird-eye view grid, computed from Lidar point clouds, with detections of past and present objects, in order to generate multiple trajectories for both ego vehicle and its neighbors. Our approach is computationally efficient and relies only on on-board sensors. We evaluate our method offline on the publicly available dataset nuScenes, achieving state-of-the-art performance, investigate the impact of our architecture choices on online simulated experiments and show preliminary insights for real vehicle control

연구 동기 및 목표

• 복잡한 도심 주행 환경에서 다중 모달, 불확실한 궤도 예측 문제를 해결하기 위해.
• 고정밀 지도에 의존하지 않고 차량 내 센서만을 사용하여 계산 효율성이 높고 단일 스텝의 궤도 예측 방법을 개발하기 위해.
• 예측 정확도를 향상시키기 위해 보조 인식 작업(예: 세분화)을 궤도 예측 네트워크에 통합하기 위해.
• 오프라인 벤치마킹과 폐쇄형 루프 시뮬레이션 모두에서 성능을 평가하여 실시간 제어에의 가능성을 입증하기 위해.
• 다양한 아키텍처 선택, 예를 들어 다항식 궤도 표현 및 보조 손실 함수가 예측의 강인성과 일반화 능력에 미치는 영향을 조사하기 위해.

제안 방법

• PLOP는 '오른쪽으로 전환'과 같은 고수준 주행 명령어를 조건으로 삼아 조건부 모방 학습 프레임워크를 사용하여 궤도 생성을 유도한다.
• 전방 카메라 이미지와 베이비의 아이 뷰 라이다 포인트 클라우드, 객체 탐지 및 과거 트랙을 처리하여 환경 맥락을 인코딩한다.
• 궤도 예측은 다항식 궤도 매arametrization를 사용한 혼합 밀도 네트워크(MDN)를 통해 가우시안 혼합 모델로 수행되며, 이는 부드러움과 일관성을 보장한다.
• 다항식 표현 방식은 학습의 유연성을 향상시키고 MDN에서의 모드 붕괴와 학습 불안정성을 줄이기 위해 추가적인 파라미터를 도입한다.
• 백본 네트워크에 보조 세분화 헤드를 추가하여 장면 레이아웃 정보를 통합함으로써 궤도 예측 정확도를 향상시킨다.
• 모델은 전문가의 시연 데이터를 기반으로 한 모방 학습을 통해 엔드 투 엔드로 학습되며, 위치 및 최종 이격 오차에서의 페널티를 포함하는 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 고정밀 지도를 사용하지 않고 차량 내 센서만을 활용하는 궤도 예측 시스템이 nuScenes와 같은 공개 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 확률적 MDN 프레임워크 내에서 다항식 궤도 표현 방식이 표준 순차적 또는 앵커 기반 방법에 비해 예측 안정성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 복잡한 도심 환경에서 보조 세분화 헤드를 추가함으로써 궤도 예측 정확도가 얼마나 향상되는가?
• RQ4 단일 스텝, 엔드 투 엔드 아키텍처는 오차 누적 및 장기 예측 정밀도 측면에서 순차적 또는 다단계 접근 방식에 비해 어떻게 비교되는가?
• RQ5 폐쇄형 루프 시뮬레이션에서 시스템의 실패 모드는 무엇이며, 이는 센서 한계나 누락된 맥락 정보(예: 신호등 상태)와 어떻게 관련이 있는가?

주요 결과

• PLOP는 nuScenes 예측 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 고정밀 지도를 사용하지 않음에도 불구하고 최종 이격 오차(FDE)와 빠짐 비율에서 고정밀 지도 기반 방법을 능가한다.
• 최상위 두 경쟁자(cxx 및 MHA-JAM)에 비해 minFDE와 빠짐 비율에서 뚜렷한 향상이 있었으며, 이는 장기 궤도 추정 정확도 향상의 증거이다.
• 보조 세분화 헤드의 통합은 특히 급격한 전환과 원형 교차로와 같은 어려운 상황에서 횡방향 예측 오차를 감소시켰다.
• 폐쇄형 루프 시뮬레이션에서의 실패 케이스는 주로 신호등 주변, 큰 차량 주변, 또는 예측 불가능한 보행자 주변에서 속도 예측 과도 증가에 기인한다.
• 단일 스텝 아키텍처는 순차적 모델에서 관찰되는 오차 누적 문제를 피함을 입증하였으며, 약간 떨어진 minADE에 비해 FDE 성능이 뛰어나 전역 궤도 최적화의 이점을 보여준다.
• 이 방법은 실차 제어에의 가능성을 입증하였으며, 초도 결과에서는 궤도 예측 결과가 실시간 주행 시뮬레이션에서 수용 가능한 성능으로 활용될 수 있음을 보여주었다.