[논문 리뷰] Trajectory Prediction using Equivariant Continuous Convolution

Robin Walters, Jinxi Li외 1명|arXiv (Cornell University)|2020. 10. 21.

Autonomous Vehicle Technology and Safety참고 문헌 50인용 수 5

한 줄 요약

이 논문은 궤도 예측을 위한 회전 불변 연속 컨볼루션 신경망인 ECCO를 소개한다. 이 모델은 물리적 대칭성을 모델 아키텍처에 통합함으로써 상태 기반의 정확도를 달성하면서도 파라미터 수를 크게 줄이고, 샘플 효율성을 향상시키며, 회전된 시나리오에서도 물리적으로 일관된 예측을 가능하게 한다. 이는 Argoverse 및 TrajNet++ 데이터셋에서 입증되었다.

ABSTRACT

Trajectory prediction is a critical part of many AI applications, for example, the safe operation of autonomous vehicles. However, current methods are prone to making inconsistent and physically unrealistic predictions. We leverage insights from fluid dynamics to overcome this limitation by considering internal symmetry in real-world trajectories. We propose a novel model, Equivariant Continous COnvolution (ECCO) for improved trajectory prediction. ECCO uses rotationally-equivariant continuous convolutions to embed the symmetries of the system. On both vehicle and pedestrian trajectory datasets, ECCO attains competitive accuracy with significantly fewer parameters. It is also more sample efficient, generalizing automatically from few data points in any orientation. Lastly, ECCO improves generalization with equivariance, resulting in more physically consistent predictions. Our method provides a fresh perspective towards increasing trust and transparency in deep learning models.

연구 동기 및 목표

• 기존 궤도 예측 모델에서의 물리적 일관성 부족과 낮은 일반화 성능, 특히 회전 변환 하에서의 문제를 해결하기 위해.
• 크기 기반 데이터 증강에 의존도를 줄이기 위해, 회전 대칭성을 인덕티브 바이어스로 통합함으로써 샘플 효율성을 향상시키기 위해.
• 불변 가중치 공유와 연속 컨볼루션을 통해 예측 정확도를 유지하거나 향상시키면서도 모델 파라미터를 줄이기 위해.
• 예측 모델에 알려진 물리적 대칭성(예: 상호작용의 회전 불변성 및 속도의 불변성)을 통합함으로써 딥 러닝 모델에 대한 신뢰를 높이기 위해.
• 불변성이 코변리에이트 시프트(예: 시나리오 회전) 상황에서도 더 나은 일반화 및 강건성을 이끌어내는지 확인하기 위해.

제안 방법

• ECCO는 궤도의 점군 표현을 기반으로 작동하는 연속 컨볼루션 레이어를 사용하여 이산 컨볼루션을 연속 공간 도메인으로 일반화한다.
• 오비트 분해와 극좌표 기반 색인 필터를 기반으로 한 새로운 가중치 공유 기법을 사용하여 회전 불변성을 강제한다.
• 일반 및 정규 표현 모두에 대해 SO(2) 회전군의 불변성을 구현함으로써, 회전에 따른 특징의 일관성 있는 변환을 보장한다.
• 토러스 기반 커널을 사용하여 필터의 파arameterization을 수행함으로써 불변성 성질의 이산화 오차를 최소화하고 수치적 안정성을 향상시킨다.
• 그룹 불변 컨볼루션 연산을 통해 불변성을 강제하고, 미래 궤도 좌표에 대한 표준 회귀 손실을 사용해 엔드 투 엔드로 학습한다.
• 자기 회귀 모델과 달리 ECCO는 모든 에이전트를 동시에 처리함으로써 효율적인 동시 예측과 상호작용의 더 나은 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 회전 불변성이 모델 복잡도를 증가시키지 않으면서도 궤도 예측에서 일반화 성능과 샘플 효율성을 향상시킬 수 있는가?
• RQ2 입력 시나리오가 회전되었을 때 불변성이 예측 일관성에 어떤 영향을 미치는가? 특히 코변리에이트 시프트가 발생하는 실제 시나리오에서의 경우에 대해.
• RQ3 극좌표 기반 필터를 사용한 연속 컨볼루션은 기존 방법에 비해 불변성 이산화 오차를 얼마나 줄일 수 있는가?
• RQ4 물리적 대칭성을 통합하면, 예를 들어 시나리오가 회전되었을 때도 일관된 회전 행동을 보이는 더 물리적으로 타당한 예측을 이끌 수 있는가?
• RQ5 대칭성의 인덕티브 바이어스를 통합함으로써 파라미터 수를 줄여도 벤치마크 궤도 예측 데이터셋에서 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• ECCO는 VectorNet 및 CtsConv와 같은 최신 모델들과 비교해 Argoverse 및 TrajNet++ 데이터셋에서 경쟁적 또는 더 높은 예측 정확도를 달성하면서도, 훨씬 적은 파라미터를 사용한다.
• 비불변 모델인 CtsConv 및 VectorNet에 비해 ECCO는 파라미터 수를 최대 90%까지 줄였지만 성능은 유지하거나 향상시켰다.
• 모델는 뛰어난 샘플 효율성을 보였으며, 학습 곡선을 통해 더 적은 학습 샘플로도 더 빠르게 수렴하고 더 나은 검증 성능을 달성했다.
• ECCO의 예측은 시나리오가 회전되어도 물리적으로 일관되다: 원래 시나리오에서의 오른쪽 회전은 회전 후에도 오른쪽 회전을 유지한다. 반면 비불변 모델은 일관되지 않은 회전을 보인다.
• 런타임 및 메모리 사용량 측면에서도 유리하다: 30대의 차량 시나리오에서 ECCO는 1.03 GFLOPs와 296MB 메모리를 사용하며, VectorNet의 1.23 GFLOPs와 171MB를 뛰어넘는 성능를 보였다. 이는 모든 에이전트를 동시에 예측하기 때문이다.
• 이론적 및 실증적 분석을 통해 극좌표 기반 색인 필터가 더 낮은 불변성 이산화 오차를 제공함으로써 모델의 대칭성 유지 능력을 향상시킨다는 것이 확인되었다.