[논문 리뷰] PnPNet: End-to-End Perception and Prediction with Tracking in the Loop

Ming Liang, Bin Yang외 5명|arXiv (Cornell University)|2020. 05. 29.

Autonomous Vehicle Technology and Safety참고 문헌 51인용 수 8

한 줄 요약

PnPNet는 종단간(end-to-end) 딥러닝 프레임워크를 제안하며, 통합된 공동 최적화 모델에서 3D 객체 검출, 다중 객체 추적, 운동 예측을 통합한다. 온라인 궤적 추정과 명시적 운동 이력을 공유 백본에 통합함으로써, 음영 회복과 향후 예측 정확도를 향상시켰으며, nuScenes 및 ATG4D 데이터셋에서 예측 지표에서 유의미한 향상으로 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

We tackle the problem of joint perception and motion forecasting in the context of self-driving vehicles. Towards this goal we propose PnPNet, an end-to-end model that takes as input sequential sensor data, and outputs at each time step object tracks and their future trajectories. The key component is a novel tracking module that generates object tracks online from detections and exploits trajectory level features for motion forecasting. Specifically, the object tracks get updated at each time step by solving both the data association problem and the trajectory estimation problem. Importantly, the whole model is end-to-end trainable and benefits from joint optimization of all tasks. We validate PnPNet on two large-scale driving datasets, and show significant improvements over the state-of-the-art with better occlusion recovery and more accurate future prediction.

연구 동기 및 목표

• 자율주행에서 모듈식이고 순차적인 인식 스택의 한계를 해결하기 위해, 각 모듈가 별도로 최적화되어 오차가 누적되는 문제를 해결하고자 한다.
• 특히 음영 상황에서의 예측 정확도 향상을 위해 객체 트랙에서 얻은 전체 시간적 맥락을 활용하여 운동 예측 정확도를 향상시키고자 한다.
• 통합된 종단간 훈련 가능한 아키텍처를 통해 검출, 추적, 예측의 공동 최적화를 가능하게 하고자 한다.
• 원시 센서 특징에서 운동을 추론하는 대신, 추적된 검출 결과에서 명시적으로 운동 이력을 모델링함으로써 궤적 표현을 향상시키고자 한다.
• 학습 루프에 추적을 통합함으로써 실제 주행 환경에서 더 견고하고 정확한 인식 및 예측이 가능해지는지를 입증하고자 한다.

제안 방법

• PnPNet는 순차적인 LiDAR 및 지ap 특징을 처리하기 위해 공유 백본 네트워크를 사용하여, 검출, 추적, 예측 모듈 간에 파rameter 공유를 가능하게 한다.
• 과거 검출 결과에서 유추된 운동과 원시 센서 관측치를 결합한 새로운 궤적 표현을 도입하며, 시간 동적 특성을 모델링하기 위해 순환 네트워크를 활용한다.
• 학습 가능한 함수를 사용하여 데이터 할당과 궤적 추정을 동시에 해결하는 이산-연속 다중 객체 추적기로, 음영, 새로운 객체 생성, 오진 탐지 등을 처리한다.
• 모델은 두 가지 명시적 메모리 모듈을 유지한다: 하나는 전역 센서 특징 맵이고, 다른 하나는 과거 객체 궤적이다. 이는 각 시간 단계에서 업데이트된다.
• 궤적 재순서 및 정밀화 기법을 적용하여 추적 순서와 정확도를 향상시키며, 이는 후속 예측 품질 향상에 기여한다.
• 모든 구성 요소는 종단간 훈련되며, 공동 최적화를 통해 일반화 능력과 시간적 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 객체 추적을 종단간 학습 루프에 통합함으로써 운동 예측 정확도와 음영 회복 능력이 유의미하게 향상되는가?
• RQ2 원시 센서 특징에서 운동을 추론하는 것과 비교해, 추적된 궤적에서 명시적으로 운동 이력을 모델링하는 것이 예측 성능에 어떤 영향을 미치는가?
• RQ3 장기적인 궤적 이력 사용이 음영 상황에서 특히 예측의 견고성 향상에 얼마나 기여하는가?
• RQ4 궤적 재순서 및 정밀화 기법이 인식 및 예측 전반의 시스템 성능에 기여하는 정도는 어떠한가?
• RQ5 공유 계산을 갖는 통합된 종단간 아키텍처가 실제 주행 환경에서 모듈식 또는 후처리 추적 방법보다 우월한가?

주요 결과

• 기준 모델 대비 ATG4D 데이터셋에서 FDE(Final Displacement Error)는 17% 향상되고, ADE(Average Displacement Error)는 18% 향상되었다.
• 명시적 궤적에서 유도된 운동 특징을 제거할 경우 예측 오차가 약 6% 감소하여, 예측에서 운동 이력의 중요성을 입증하였다.
• 음영 회복 능력이 크게 향상되었으며, 단일 객체 추적기 제거 시 최대 재현율이 1.7% 감소하여, 궤적 연속성 유지에 기여하는 역할을 확인하였다.
• 궤적 재순서 및 정밀화 기법 제거 시 검출 AP는 7% 이상, ADE는 4.7% 이상 감소하여, 이 기법이 추적 순서 및 정확도 향상에 결정적인 역할을 한다는 것을 보여주었다.
• 예측 성능은 약 16 프레임(1.6초)의 이력에서 포화 상태에 도달하여, 더 긴 시퀀스는 실제 교통 동역학에서 성과 향상에 미미한 기여를 한다는 것을 시사하였다.
• ATG4D 데이터셋에서 nuScenes에 비해 더 큰 성능 향상을 보였으며, 이는 이 데이터셋에서 더 높은 비율의 이동 객체와 더 복잡한 운동 패턴이 존재하기 때문으로 분석되었다.