[논문 리뷰] Exploring Map-based Features for Efficient Attention-based Vehicle Motion Prediction

Carlos Gómez-Huélamo, Marcos V. Conde외 1명|arXiv (Cornell University)|2022. 05. 25.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 고해상도(HD) 지ap을 처리하기 위해 복잡한 CNN을 사용하지 않고 해석 가능한 지도 기반 특징(예: 주행 가능한 영역, 목적지 포인트 등)을 활용하는 효율적이고 주목적 기반의 운동 예측 모델을 제안한다. 최소한의 지도 정보와 경량 아키텍처를 사용함으로써, FLOPs를 크게 줄이고 Argoverse 1.0 벤치마크에서 경쟁 가능한 성능을 달성하여 자율주행 시스템에서 실시간 엣지 배포에 더 적합하고 빠른 추론을 가능하게 한다.

ABSTRACT

Motion prediction (MP) of multiple agents is a crucial task in arbitrarily complex environments, from social robots to self-driving cars. Current approaches tackle this problem using end-to-end networks, where the input data is usually a rendered top-view of the scene and the past trajectories of all the agents; leveraging this information is a must to obtain optimal performance. In that sense, a reliable Autonomous Driving (AD) system must produce reasonable predictions on time, however, despite many of these approaches use simple ConvNets and LSTMs, models might not be efficient enough for real-time applications when using both sources of information (map and trajectory history). Moreover, the performance of these models highly depends on the amount of training data, which can be expensive (particularly the annotated HD maps). In this work, we explore how to achieve competitive performance on the Argoverse 1.0 Benchmark using efficient attention-based models, which take as input the past trajectories and map-based features from minimal map information to ensure efficient and reliable MP. These features represent interpretable information as the driveable area and plausible goal points, in opposition to black-box CNN-based methods for map processing.

연구 동기 및 목표

• 고해상도 지도 처리를 위해 계산 비용이 높은 CNN에 의존하는 기존 주목적 기반 운동 예측 모델의 비효율성을 해결하기 위해.
• 자율주행에서 엣지 디바이스에 실시간 배포하기 위해 모델의 효율성을 향상시키고 추론 시간을 단축하기 위해.
• 해석 가능한 수동으로 설계된 지도 특징(예: 주행 가능한 영역, 목적지 포인트 등)이 성능을 저하시키지 않은 채 블랙박스 기반의 CNN 기반 지도 인코더를 대체할 수 있는지 탐색하기 위해.
• FLOPs와 모델 복잡도를 최소화하면서도 Argoverse 1.0 벤치마크에서 경쟁 가능한 운동 예측 정확도를 달성하기 위해.
• 현재의 고해상도 지도 처리 파이프라인에 대한 경량이고 해석 가능한 대안을 제공하기 위해.

제안 방법

• 모델은 과거 에이전트 트레이제터리와 지도 기반 특징을 처리하는 경량 주목적 메커니즘을 사용하며, 종단간 CNN 기반 지도 인코딩을 피한다.
• 지도 기반 특징은 해석 가능한 요소(예: 주행 가능한 영역, 잠재적 목적지 포인트 등)를 출력하는 비미분 가능 특징 추출기로 추출된다.
• 이러한 특징들은 주목적 메커니즘에 사전 지식으로 통합되어 모델 복잡도를 증가시키지 않으면서도 예측 정확도를 향상시킨다.
• 최소한의 고해상도 지도 데이터(예: 차선 중심선, 교차로 등)를 기반으로 지도 특징 세트를 구성하여 물리적 맥락을 효율적으로 표현한다.
• 에이전트와 지도 요소 간의 상호작용을 모델링하기 위해 LSTM 또는 세트 트랜스포머 인코더와 다중 헤드 자기주목적 메커니즘을 조합한다.
• 지도 처리를 위한 깊은 CNN을 피하고 희소하고 구조화된 지도 표현 방식을 사용함으로써 FLOPs를 최소화한다.

실험 결과

연구 질문

• RQ1 성능을 유지하면서도 깊은 CNN 기반 지도 인코더를 해석 가능한 수동으로 설계된 지도 특징(예: 주행 가능한 영역, 목적지 포인트 등)이 대체할 수 있는가?
• RQ2 최소한의 고해상도 지도 정보를 사용할 경우 운동 예측 모델의 추론 효율성과 예측 정확도에 어떤 영향을 미치는가?
• RQ3 경량 주목적 기반 모델이 FLOPs를 줄이며 Argoverse 1.0 벤치마크에서 최고 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 해석 가능한 지도 사전 지식(예: 목적지 포인트, 주행 가능한 영역 등)의 통합이 모델 일반화 능력과 해석 가능성에 기여하는가?
• RQ5 CNN 기반 지도 인코더를 특징 기반 지도 표현으로 대체할 경우, 모델 효율성(FLOPs)과 예측 성능 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 모델은 Argoverse 1.0 벤치마크에서 경쟁 가능한 성능을 달성하였으며, 최종 오차는 Ade 0.558 m, Fde 1.281 m로 최고 성능 기록 방법과 유사하다.
• CNN 기반 지도 인코더보다 훨씬 적은 FLOPs를 요구하며, ResNet18 기반 기준선 대비 최대 50%까지 FLOPs가 감소하였다.
• 특히 에이전트 수가 적을 경우, VectorNet 및 기타 그래프 기반 모델보다 FLOP 효율성이 뛰어나면서도 유사한 예측 정확도를 유지한다.
• 목적지 포인트, 주행 가능한 영역 등의 해석 가능한 지도 특징을 사용함으로써 모델의 신뢰성과 해석 가능성은 향상되었고, 모델 복잡도는 증가하지 않았다.
• 다수의 에이전트와 복잡한 도로 구조를 가진 도심 환경에서도 안정적인 성능을 보였으며, 정성적 결과를 통해 이를 확인할 수 있었다.
• 효율성 향상에도 불구하고, LSTM 기반 버전은 여전히 병렬 처리가 불가능하여 향후 더 빠른 주목적 메커니즘(예: 세트 트랜스포머)의 탐색이 필요하다는 점을 시사한다.