[논문 리뷰] CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships

Rebecca Roelofs, Liting Sun외 5명|arXiv (Cornell University)|2022. 07. 07.

Autonomous Vehicle Technology and Safety인용 수 6

한 줄 요약

이 논문은 Waymo Open Motion Dataset에서 인간 주석을 통해 식별한 비인과적 에이전트(자신의 존재가 AV의 실제 궤적에 영향을 주지 않는 에이전트)를 제거함으로써 변형에 대한 민감도를 평가하는 움직임 예측 모델을 위한 내구성 기준인 CausalAgents를 소개한다. 주요 기여는 최첨단 모델이 이러한 변형 상황에서 minADE가 최대 38% 상승함을 드러내는 새로운 평가 프로토콜을 제안한 것으로, 이는 모델이 유사 상관관계에 취약함을 시사하며, 데이터 증강과 더 큰 데이터셋이 내구성을 향상시킴을 보여준다.

ABSTRACT

As machine learning models become increasingly prevalent in motion forecasting for autonomous vehicles (AVs), it is critical to ensure that model predictions are safe and reliable. However, exhaustively collecting and labeling the data necessary to fully test the long tail of rare and challenging scenarios is difficult and expensive. In this work, we construct a new benchmark for evaluating and improving model robustness by applying perturbations to existing data. Specifically, we conduct an extensive labeling effort to identify causal agents, or agents whose presence influences human drivers' behavior in any format, in the Waymo Open Motion Dataset (WOMD), and we use these labels to perturb the data by deleting non-causal agents from the scene. We evaluate a diverse set of state-of-the-art deep-learning model architectures on our proposed benchmark and find that all models exhibit large shifts under even non-causal perturbation: we observe a 25-38% relative change in minADE as compared to the original. We also investigate techniques to improve model robustness, including increasing the training dataset size and using targeted data augmentations that randomly drop non-causal agents throughout training. Finally, we release the causal agent labels (at https://github.com/google-research/causal-agents) as an additional attribute to WOMD and the robustness benchmarks to aid the community in building more reliable and safe deep-learning models for motion forecasting.

연구 동기 및 목표

• 자율주행에서 희귀하고 복잡한 시나리오의 모델 내구성 평가 과제를 해결하기 위해, 수집 및 주석 처리가 어려운 시나리오에 대해 평가 방법을 개선한다.
• 기존 데이터에서 비인과적 에이전트를 제거하여 변형을 가함으로써, 모델의 유사 상관관계에 대한 민감도를 테스트하는 기준을 개발한다.
• 기존 궤적 정보에 의존하지 않는 새로운 지표를 통해 모델 내구성을 정량화한다.
• 데이터 증강 및 훈련 데이터 증가가 비인과적 에이전트 제거에 대한 내구성 향상에 기여하는지 조사한다.
• 향후 연구를 지원하기 위해 Waymo Open Motion Dataset에 인과적 에이전트 주석을 확장 속성으로 공개한다.

제안 방법

• 인간 레이블러들이 Waymo Open Motion Dataset(WOMD)에서 인과적 에이전트를 주석 처리하였으며, 비인과적 에이전트를 정의한 것은 해당 에이전트의 제거가 AV의 실제 궤적에 영향을 주지 않는 경우로 정의하였다.
• 저자들은 비인과적 에이전트를 모든 시나리오에서 제거함으로써 원본 실제 궤적을 유지하는 변형된 기준을 구축하였다.
• 두 가지 새로운 지표를 도입하였다: (1) minADE의 절대 예측 단위 변화량을 통해 민감도를 측정하고, (2) 실제 궤적을 참조하지 않고도 모델 출력의 이동을 평가하는 IoU 기반 궤적 세트 지표이다.
• 기존 및 변형된 데이터셋에서 최첨단 모델(Multipath++, SceneTransformer, Wayformer 등)의 성능 변화를 측정하기 위해 평가를 수행하였다.
• 특정 데이터 증강 전략을 포함하여 훈련 중에 비인과적 에이전트를 무작위로 제거함으로써 내구성을 향상시키는 방법을 적용하였다.
• 인과적, 비인과적, 정지한 에이전트를 제거한 경우를 포함해 다양한 제거 수량에 따라 모델 내구성을 분석하여 실패 원인을 분리 분석하였다.

실험 결과

연구 질문

• RQ1 최첨단 움직임 예측 모델은 비인과적 에이전트 제거에 대해 얼마나 민감한가? 비인과적 에이전트의 존재는 AV의 실제 궤적에 영향을 주지 않기 때문이다.
• RQ2 특히 실제 궤적에 의존하지 않는 새로운 내구성 지표가 변형에 대한 모델 민감도를 효과적으로 캡처할 수 있는가?
• RQ3 훈련 데이터셋 크기를 증가시키거나, 비인과적 에이전트를 무작위로 제거하는 타겟 데이터 증강 기법을 적용하면 이러한 변형에 대한 내구성이 향상되는가?
• RQ4 비인과적 변형 상황에서 모델의 취약성의 근본 원인은 무엇이며, 과적합이나 맥락 에이전트에 대한 과도한 의존이 기여하는가?
• RQ5 비인과적 에이전트 제거 시 모델 예측이 도로 지형 규칙에서 얼마나 벗어나거나 모드 붕괴 현상이 발생하는가?

주요 결과

• 평가된 최첨단 모든 모델이 비인과적 에이전트 제거 시 심각한 성능 저하를 보였으며, minADE가 원본 대비 최대 38% 상승하여 유사 특징에 매우 민감함을 시사한다.
• 원본 데이터셋에서 minADE 기준으로 가장 정확한 모델이 가장 내구성 있는 것은 아니었으며, 표준 성능 지표와 내구성 간의 괴리가 있음을 입증하였다.
• 긴 尾 tail의 일부 예시에서는 매우 민감한 반응을 보였으며, minADE 변화가 1미터 이상(최대 8미터)으로 나타나는 경우가 있었지만, 대부분의 예시는 변화가 미미하였다.
• 놀랍게도, 인과적 또는 비인과적 에이전트를 제거했을 때 성능이 향상된 경우가 상당수 존재하여, 변형 상황에서 복잡하고 비단조화로운 행동을 보임을 시사하였다.
• 훈련 데이터셋 크기를 증가시키고, 훈련 중에 비인과적 에이전트를 무작위로 제거하는 데이터 증강 기법을 적용함으로써 내구성 향상이 측정되었으며, 상대적 민감도가 감소하였다.
• 시각적 분석 결과, 모델 실패의 대부분은 잘못된 모드 예측(예: 오른쪽 전환 모드 누락)과 에이전트 제거 후 도로 지형 규칙 위반과 관련이 있었으며, 이는 맵 정보보다 맥락 에이전트에 과도하게 의존함을 시사한다.