[논문 리뷰] Holistic Transformer: A Joint Neural Network for Trajectory Prediction and Decision-Making of Autonomous Vehicles

Hongyu Hu, Qi Wang외 3명|arXiv (Cornell University)|2022. 06. 17.

Autonomous Vehicle Technology and Safety인용 수 6

한 줄 요약

이 논문은 다중 환경적 신호를 세 가지 전문화된 주의 메커니즘을 통해 통합함으로써 자율주행차의 궤적 예측과 행동 결정을 동시에 수행하는 통합 신경망인 Holistic Transformer를 제안한다. 별도의 예측-결정 프레임워크에 비해 뛰어난 성능과 강건성을 달성하며, 통합된 맥락 인식 추론을 통해 계산 비용을 감소시키고 해석 가능성을 향상시킨다.

ABSTRACT

Trajectory prediction and behavioral decision-making are two important tasks for autonomous vehicles that require good understanding of the environmental context; behavioral decisions are better made by referring to the outputs of trajectory predictions. However, most current solutions perform these two tasks separately. Therefore, a joint neural network that combines multiple cues is proposed and named as the holistic transformer to predict trajectories and make behavioral decisions simultaneously. To better explore the intrinsic relationships between cues, the network uses existing knowledge and adopts three kinds of attention mechanisms: the sparse multi-head type for reducing noise impact, feature selection sparse type for optimally using partial prior knowledge, and multi-head with sigmoid activation type for optimally using posteriori knowledge. Compared with other trajectory prediction models, the proposed model has better comprehensive performance and good interpretability. Perceptual noise robustness experiments demonstrate that the proposed model has good noise robustness. Thus, simultaneous trajectory prediction and behavioral decision-making combining multiple cues can reduce computational costs and enhance semantic relationships between scenes and agents.

연구 동기 및 목표

• 자율주행차에서 궤적 예측과 결정의 분리된 접근 방식의 한계를 해결하기 위해.
• 에이전트와 환경 간의 의미적 관계를 함께 모델링하여 성능을 향상시키기 위해.
• 실생활 주행 환경에서의 감지 노이즈에 대한 강건성을 향상시키기 위해.
• 별도의 모델에서 반복되는 처리를 제거함으로써 계산 비용을 감소시키기 위해.
• 주목적 메커니즘을 통해 관련 맥락적 신호를 강조함으로써 해석 가능성을 증가시키기 위해.

제안 방법

• Holistic Transformer는 역사적 궤적과 시나리오 맥락을 모두 처리하는 다중 모달 트랜스포머 아키텍처를 사용한다.
• 세 가지 유형의 주의 메커니즘을 통합한다: 노이즈 억제를 위한 희소 다중 헤드 주의, 이전 지식을 우선시하기 위한 특징 선택 희소 주의, 후행 지식을 활용하기 위한 다중 헤드에 시그모이드 활성화를 적용한 주의.
• 엔드 투 엔드 방식으로 미래 궤적을 동시에 예측하고 최적의 주행 행동(예: 차선 변경, 따라가기 등)을 선택한다.
• 주목적 메커니즘은 교통 에이전트 간의 장거리 의존성과 동적 상호작용을 모델링하도록 설계되었다.
• 궤적 예측 및 행동 분류 목표를 통합한 다중 과제 손실을 사용하여 엔드 투 엔드로 학습된다.
• 입력 시퀀스의 시간적 순서와 공간적 관계를 유지하기 위해 학습 가능한 위치 인코딩을 사용한다.

실험 결과

연구 질문

• RQ1 통합 신경망이 자율주행차의 궤적 예측과 행동 결정을 효과적으로 통합할 수 있는가?
• RQ2 다양한 주의 메커니즘이 주행 환경에서의 감지 노이즈에 대한 강건성을 어떻게 향상시키는가?
• RQ3 분리된 예측 및 결정 모듈에 비해 통합 학습이 성능 향상에 얼마나 기여하는가?
• RQ4 복잡한 교통 환경에서 사전 지식과 후행 지식을 최적화하여 사용할 수 있도록 주의 메커니즘을 설계할 수 있는가?
• RQ5 통합 아키텍처는 정확도를 유지하거나 향상시키면서도 계산 비용을 감소시키는가?

주요 결과

• Holistic Transformer는 궤적 예측 벤치마크에서 최신 기술 수준의 성능을 달성하여 별도의 모델에 비해 정확도와 일반화 능력에서 뛰어난 성능을 보였다.
• 모델은 감지 노이즈에 강건하여 센서 입력이 노이즈가 많은 조건에서도 높은 성능을 유지하였다.
• 다양한 주의 메커니즘의 사용으로 관련된 시나리오 및 에이전트 특징을 강조함으로써 성능 향상된 해석 가능성을 확보하였다.
• 분리된 두 개의 네트워크를 학습하는 것에 비해 통합 학습 프레임워크가 계산 오버헤드를 감소시켰다.
• 교차로 및 고속도로 통합과 같은 다양한 주행 시나리오에서 일관되게 뛰어난 성능을 보였다.
• 제거 실험 결과 각 주의 메커니즘이 전체 성능에 기여하며, 특히 노이즈가 많은 조건에서 두드러진 기여를 했다.