[논문 리뷰] PlanT: Explainable Planning Transformers via Object-Level Representations

Katrin Renz, Kashyap Chitta외 4명|arXiv (Cornell University)|2022. 10. 25.

Autonomous Vehicle Technology and Safety인용 수 21

한 줄 요약

PlanT는 빠른 추론과 주의 집중(attention)을 통해 해설 가능성을 강화한 객체 수준 입력(차량 및 경로) 기반의 변환기 planner를 도입하여 자율주행에서 전문가 수준의 성능을 달성합니다. 또한 인식 모듈과 함께 sensor-based planning을 가능하게 합니다.

ABSTRACT

Planning an optimal route in a complex environment requires efficient reasoning about the surrounding scene. While human drivers prioritize important objects and ignore details not relevant to the decision, learning-based planners typically extract features from dense, high-dimensional grid representations containing all vehicle and road context information. In this paper, we propose PlanT, a novel approach for planning in the context of self-driving that uses a standard transformer architecture. PlanT is based on imitation learning with a compact object-level input representation. On the Longest6 benchmark for CARLA, PlanT outperforms all prior methods (matching the driving score of the expert) while being 5.3x faster than equivalent pixel-based planning baselines during inference. Combining PlanT with an off-the-shelf perception module provides a sensor-based driving system that is more than 10 points better in terms of driving score than the existing state of the art. Furthermore, we propose an evaluation protocol to quantify the ability of planners to identify relevant objects, providing insights regarding their decision-making. Our results indicate that PlanT can focus on the most relevant object in the scene, even when this object is geometrically distant.

연구 동기 및 목표

• 밀집 픽셀 수준 입력 대신 컴팩트한 객체 수준 표현을 사용하여 자율주행에 대한 계획의 동기를 제시합니다.
• 차량 및 경로 구간과 같은 객체를 입력으로 사용하여 ego-trajectory를 예측하는 변환기 기반 planner를 개발합니다.
• 객체 수준의 계획이 효율적인 추론으로 최첨단 성능을 달성할 수 있음을 보여줍니다.
• 어떤 객체가 계획 결정에 가장 큰 영향을 미치는지 식별하는 설명 가능성 프로토콜을 제안합니다.

제안 방법

• 장면을 6개의 속성을 가진 차량 및 경로 구간의 객체 토큰 집합으로 표현하고 이를 변환기 인코더에 임베딩합니다.
• CLS 토큰 기반의 변환기 인코더를 사용하여 장면 정보를 집계하고 GRU 기반 디코더를 통해 미래 경로점을 생성합니다.
• 디코더를 초기화하고 4단계 BEV 궤적을 예측하기 위해 이진 신호의 신호등 플래그를 추가합니다.
• 속성을 빈으로 이산화하고 크로스 엔트로피 손실을 적용하여 다른 차량의 미래 속성을 예측하는 보조 작업을 도입합니다.
• 웨이포인트 L1 손실과 차량 속성 교차 엔트로피 손실을 결합한 멀티태스크 손실(λ 가중)로 학습합니다.

실험 결과

연구 질문

• RQ1 도시 주행 벤치마크에서 객체 수준의 변환기 기반 표현이 픽셀 기반 플래너와 동등하거나 이를 능가할 수 있습니까?
• RQ2 계획 성능에 중요한 입력 구성 요소(360도 시야, 속도, 경로 표현)는 무엇입니까?
• RQ3 PlanT의 설명 가능성은 얼마나 높으며 주의 집중이 가장 관련된 객체를 식별할 수 있습니까?
• RQ4 PlanT가 인식 모듈과 결합될 때 센서 기반 계획으로 전이됩니까?
• RQ5 데이터 및 모델 규모의 확장이 계획 성능에 어떤 영향을 미칩니까?

주요 결과

• PlanT는 Longest6에서 픽셀 기반 기준선보다 빠른 추론으로 전문가 수준의 운전 성능을 달성합니다.
• 전체 360도 시야, 차량 속도, 더 큰 데이터/모델 크기는 PlanT 및 PlanCNN 성능을 크게 향상시킵니다.
• PlanT가 인식을 포함할 때 TransFuser와 LAV를 큰 차이로 능가합니다(DS가 표 1에 인용).
• PlanT의 주의 가중치는 객체 중요성에 대한 신뢰할 수 있는 설명을 제공하며 RFDS에서 PlanCNN을 능가합니다.
• PlanT는 3× 데이터 세트(MEDIUM)에서 81.36 DS를 달성하고 PlanCNN보다 약 3배 빠르며; PlanT MINI는 유사 DS로 5.3× 더 빠릅니다.