[논문 리뷰] SVG-Net: An SVG-based Trajectory Prediction Model

Mohammadhossein Bahari, Vahid Zehtab외 4명|arXiv (Cornell University)|2021. 10. 07.

Autonomous Vehicle Technology and Safety참고 문헌 23인용 수 4

한 줄 요약

SVG-Net는 자동주행 주행 경로 예측을 위한 표준화되고 구조를 유지하는 입력 포맷으로 확장 가능한 벡터 그래픽(SVG)을 사용함을 제안한다. 이는 장거리 예측 성능을 향상시키기 위해 Transformer 기반의 인코더-디코더 네트워크를 활용하여 환경의 맥락과 이동 요소 간의 상호작용을 모델링한다. Argoverse 데이터셋에서 평가한 결과, FDE 3.25와 ADE 1.46를 기록하며 최신 기술 수준(SOTA) 성능을 달성하였으며, 이는 SVG가 일반화 가능하고 재사용 가능한 경로 예측 표현 방식으로 효과적임을 입증한다.

ABSTRACT

Anticipating motions of vehicles in a scene is an essential problem for safe autonomous driving systems. To this end, the comprehension of the scene's infrastructure is often the main clue for predicting future trajectories. Most of the proposed approaches represent the scene with a rasterized format and some of the more recent approaches leverage custom vectorized formats. In contrast, we propose representing the scene's information by employing Scalable Vector Graphics (SVG). SVG is a well-established format that matches the problem of trajectory prediction better than rasterized formats while being more general than arbitrary vectorized formats. SVG has the potential to provide the convenience and generality of raster-based solutions if coupled with a powerful tool such as CNNs, for which we introduce SVG-Net. SVG-Net is a Transformer-based Neural Network that can effectively capture the scene's information from SVG inputs. Thanks to the self-attention mechanism in its Transformers, SVG-Net can also adequately apprehend relations amongst the scene and the agents. We demonstrate SVG-Net's effectiveness by evaluating its performance on the publicly available Argoverse forecasting dataset. Finally, we illustrate how, by using SVG, one can benefit from datasets and advancements in other research fronts that also utilize the same input format. Our code is available at https://vita-epfl.github.io/SVGNet/.

연구 동기 및 목표

• 경로 예측에서 래스터화된 표현이나 비표준 벡터 표현 방식의 한계를 해결하기 위해.
• 자율주행 주행 환경의 장면 맥락을 위한 표준화되고 구조를 유지하며 일반적인 목적의 형식으로 SVG를 제안하기 위해.
• 자기주의 어텐션 메커니즘을 활용해 SVG 입력으로부터 효과적으로 학습하는 데에 초점을 맞춘 신경망 아키텍처(SVG-Net)를 개발하기 위해.
• SVG와 같은 공통 입력 형식을 채택함으로써 다양한 비전 작업 간에 사전 훈련된 모델의 지식 공유 및 재사용을 가능하게 하기 위해.
• SVG 기반 표현 방식이 경로 예측에서 높은 성능와 일반화 능력을 동시에 지원할 수 있음을 입증하기 위해.

제안 방법

• 확장 가능한 벡터 그래픽(SVG)을 사용하여 장면 맥락을 표현함. 이는 구조적 정보를 유지하는 표준화된 벡터 형식이다.
• 장면과 이동 요소의 역사 정보를 별도로 처리하기 위해 Transformer 기반의 인코더-디코더 아키텍처를 설계함.
• 장면 인코더를 통해 SVG 경로를 잠재 표현으로 임bedding하여 기하학적 및 공간 맥락을 캡처함.
• 잔차형 MLP를 사용하여 이동 요소의 운동 역사 정보를 잠재 임베딩으로 변환함.
• 디코더에서 자기주의 어텐션을 적용하여 이동 요소와 장면 요소 간의 복잡한 상호작용을 모델링함.
• SVG-Icons8 데이터셋에서 사전 훈련한 후 Argoverse 예측 데이터셋에서 미세조정하여 이식 가능성 평가함.

실험 결과

연구 질문

• RQ1 SVG와 같은 표준화된 벡터 형식이 래스터화된 표현이나 전용 벡터 표현 방식보다 경로 예측에서 더 우수한 성능을 낼 수 있는가?
• RQ2 Transformer 기반 모델이 SVG 입력으로부터 장면 맥락과 이동 요소 간의 상호작용을 얼마나 잘 추론할 수 있는가?
• RQ3 SVG 데이터에서 학습된 표현 방식이 하류의 경로 예측 작업으로 얼마나 잘 이식될 수 있는가?
• RQ4 SVG를 입력으로 사용함으로써 다양한 비전 작업 간에 사전 훈련된 모델의 일반화 및 재사용이 어떻게 향상되는가?
• RQ5 SVG-Net이 어텐션 시각화를 통해 해석 가능성을 유지하면서도 경쟁 가능한 성능를 달성할 수 있는가?

주요 결과

• SVG-Net은 Argoverse 검증 세트에서 FDE 3.25와 ADE 1.46를 기록하여 뛰어난 예측 성능를 입증함.
• SVG-Icons8 데이터셋에서 사전 훈련한 결과, FDE 3.42와 ADE 1.51를 기록하여 뛰어난 일반화 능력을 보임.
• 하류의 SVG 이미지 분류 작업에서 72.2%의 정확도를 기록하여 ResNet-18(73.0%)과 유사한 성능를 보이며 이식 가능성 확인됨.
• 정성적 어텐션 시각화 결과, 모델이 관련된 장면 요소(예: 차선)와 상호작용하는 이동 요소를 정확히 주시하고 있음.
• 제거 실험 결과, 최적의 성능를 위해 장면 인코더와 디코더의 상호작용 모델링이 모두 중요함을 확인함.
• 결과적으로 SVG는 지식 공유가 가능한 표준화된 입력 형식로써 컴퓨터 비전 작업 전반에서 유망한 대안이 될 수 있음.