[논문 리뷰] $AIR^2$ for Interaction Prediction

David Wu, Yunnan Wu|arXiv (Cornell University)|2021. 11. 16.

Human Pose and Action Recognition참고 문헌 1인용 수 7

한 줄 요약

이 논문은 두 에이전트의 궤적 앵커의 카티esian 곱 위에서 공동 신뢰도 모델링을 통합한 잠금된 운동 예측 프레임워크를 향상시킨 새로운 상호작용 예측 모델인 $AIR^{2}$를 제안한다. 양 에이전트 중심으로 장면를 래스터라이즈하고, CNN을 사용해 상호작용 인식 신뢰도를 예측함으로써, $AIR^{2}$는 웨이모 상호작용 예측 챌린지 랭킹에서 최고의 mAP(0.0963)를 기록하여 기준 모델보다 유의미한 성능 향상을 이뤘다.

ABSTRACT

The 2021 Waymo Interaction Prediction Challenge introduced a problem of predicting the future trajectories and confidences of two interacting agents jointly. We developed a solution that takes an anchored marginal motion prediction model with rasterization and augments it to model agent interaction. We do this by predicting the joint confidences using a rasterized image that highlights the ego agent and the interacting agent. Our solution operates on the cartesian product space of the anchors; hence the $"^2"$ in $AIR^2$. Our model achieved the highest mAP (the primary metric) on the leaderboard.

연구 동기 및 목표

• 자율주행 시나리오에서 두 상호작용하는 에이전트의 향후 궤적과 신뢰도를 동시에 예측하는 문제에 대응한다.
• 에이전트 간 의존성을 명시적으로 모델링하여 독립적인 운동 예측의 한계를 극복한다.
• 잠금된, 래스터라이즈된 운동 예측 프레임워크에 상호작용 인식 신뢰도 추정을 통합하여 예측 정확도를 향상시킨다.
• 차량, 보행자, 자전거 기준의 데이터 불균형 문제를 해결하기 위해 유형별 샘플링 및 전문가 서브넷을 활용한다.
• mAP 성능을 최적화하기 위해 메트릭-손실 민감도 분 析을 통해 손실 가중치를 최적화한다.

제안 방법

• 두 에이전트의 궤적 앵커의 카티esian 곱 공간에서 작동하는 공동 신뢰도 예측기 도입을 통해 기존의 잠금된 운동 예측 모델 $AIR$를 확장한다.
• 각 에이전트 중심으로 장면 이미지를 래스터라이즈하고, 자기 자신과 상호작용하는 에이전트를 강조하여 CNN 기반 모델에 공간적 및 상호작용 맥락을 인코딩한다.
• 래스터라이즈된 이미지에 공통된 CNN 기반 모델(EfficientNetB3)을 적용해 임베딩을 추출한 후, 객체 유형별 전문가 헤드를 사용해 각 유형별로 예측을 수행한다.
• 에이전트당 8개의 제어점을 예측하고, 카디널 큐빅 B-스플라인을 사용해 전체 80단계 궤적으로 보간하여 부드러움을 강제한다.
• 최적의 mAP 성능을 확보하기 위해 메트릭-손실 민감도 분 析을 적용해 손실 가중치($w_{cls}=60$, $w_{reg}=1$)를 조정한다.
• 다른 무작위 초기화 및 학습 스크래치를 가진 네 개의 모델을 앙상블하여 정확도와 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 잠금된 궤적의 카티esian 곱 위에서 공동 신뢰도 예측이 독립적인 운동 모델링을 초월해 상호작용 예측 성능을 향상시킬 수 있는가?
• RQ2 래스터라이즈된, 에이전트 중심의 장면 인코딩은 궤적 예측을 위한 에이전트 간 의존성을 얼마나 효과적으로 포착하는가?
• RQ3 유형 기반 게이팅 전문가 서브넷은 차량, 보행자, 자전거 유형 간 데이터 불균형으로 인한 성능 저하를 어느 정도 완화할 수 있는가?
• RQ4 메트릭-손실 민감도 분 析은 mAP 최적화를 위해 히وري스틱 또는 그리드 서치 방법보다 더 나은 손실 가중치 설정을 가능하게 하는가?
• RQ5 예측 궤적을 수정하지 않고도 공동 신뢰도를 명시적으로 모델링함으로써 단순한 마진 예측의 카티esian 곱 방식을 개선할 수 있는가?

주요 결과

• $AIR^{2}$는 웨이모 상호작용 예측 챌린지 랭킹에서 최고의 mAP 0.0963을 기록하여 두 번째로 높은 성능을 낸 모델(King Crimson)을 0.0066점 이상 앞서며 우수한 성능을 보였다.
• 기준 웨이모 LSTM 모델(mAP 0.0524) 대비 성능 향상은 상호작용 인식 신뢰도 모델링의 효과성을 입증한다.
• 각 에이전트의 예측 궤적을 재래스터라이즈하여 상호작용 모델의 입력으로 사용한 재래스터라이즈된 이미지를 사용한 경우, 표준 래스터라이제이션보다 성능 향상이 뚜렷했다.
• 차량(32개 앵커), 보행자(8개 앵커), 자전거(30개 앵커)에 대해 별도의 클러스터링을 적용함으로써 다양한 에이전트 유형 간 다중모달 궤적 예측이 효과적으로 가능해졌다.
• 유형 기반 게이팅 전문가 서브넷의 구현은 파라미터 경쟁을 감소시키고 이질적인 에이전트 유형 간 학습 효율성을 향상시켰다.
• 다른 무작위 시드와 학습 스크래치를 가진 네 개의 모델을 앙상블함으로써 일관된 성능 향상이 이루어졌으며, 이는 $AIR^{2}$ 아키텍처의 안정성을 강조한다.