[논문 리뷰] StretchBEV: Stretching Future Instance Prediction Spatially and Temporally

Adil Kaan Akan, Fatma Güney|arXiv (Cornell University)|2022. 03. 25.

Autonomous Vehicle Technology and Safety인용 수 7

한 줄 요약

StretchBEV는 잠재 공간 내에서 확률적 잔차 업데이트를 통해 시간에 따라 변화하는 동역학을 학습함으로써, 조망도(鳥瞰図, BEV)에서 장기적이고 공간적으로 확장된 미래 인스턴스 예측을 향상시키는 확률적 시간 모델을 제안한다. 각 시간 단계에서 학습된 분포로부터 샘플링함으로써, 장기적인 시간 범위와 넓은 공간 영역에서 다양하고 정확한 예측을 생성한다. 이는 기존의 FIERY와 같은 방법보다 정확도와 다양성 측면에서 뛰어나며, 특히 도달 거리가 먼 영역과 장기 예측 시나리오에서 두각을 나타낸다.

ABSTRACT

In self-driving, predicting future in terms of location and motion of all the agents around the vehicle is a crucial requirement for planning. Recently, a new joint formulation of perception and prediction has emerged by fusing rich sensory information perceived from multiple cameras into a compact bird's-eye view representation to perform prediction. However, the quality of future predictions degrades over time while extending to longer time horizons due to multiple plausible predictions. In this work, we address this inherent uncertainty in future predictions with a stochastic temporal model. Our model learns temporal dynamics in a latent space through stochastic residual updates at each time step. By sampling from a learned distribution at each time step, we obtain more diverse future predictions that are also more accurate compared to previous work, especially stretching both spatially further regions in the scene and temporally over longer time horizons. Despite separate processing of each time step, our model is still efficient through decoupling of the learning of dynamics and the generation of future predictions.

연구 동기 및 목표

• 다중 에이전트 운동의 본질적 불확실성으로 인해 장기 예측 품질이 떨어지는 문제를 해결하기 위해.
• 자율주행을 위한 조망도(BEV) 표현에서 미래 인스턴스 예측의 정확도와 다양성을 향상시키기 위해.
• 예측 생성과 동역학 학습을 분리함으로써 효율성을 확보하면서도 높은 성능를 유지하기 위해.
• 잠재 예측에서의 운동 및 위치 복원을 감독함으로써 더 해석 가능하고 공간적으로 확장된 예측을 가능하게 하기 위해.
• 동역학 학습 중 미래 출력 모odalities에 대한 조건부 설정이 미치는 영향을 탐색하며, 성능 향상과 레이블 의존성 간의 균형을 찾기 위해.

제안 방법

• 모델은 저차원 잠재 공간 내에서 확률적 잔차 업데이트를 통해 시간적 동역학을 학습하며, 상태공간 모델을 사용해 동역학 학습과 예측 생성을 분리한다.
• 각 시간 단계에서 모델은 학습된 분포로부터 샘플링하여 불확실성을 전파함으로써 다양한 미래 예측을 가능하게 한다.
• 잠재 공간은 사전에 학습된 BEV 세그멘테이션 모델이 예측한 향후 프레임의 BEV 표현과 일치하도록 훈련되어, 실제 장면 기하학과의 일치를 보장한다.
• 감독된 디코더는 잠재 예측을 해석 가능한 미래 모달리티(예: 에이전트 위치, 운동 벡터 등)로 매핑한다.
• 두 가지 변형을 제안한다: 후행 분포에 명시적인 미래 모달리티 레이블을 포함하는 경우(StretchBEV-P)와 그렇지 않은 경우(StretchBEV)로, 레이블 의존성의 영향을 연구한다.
• 모델은 신경 ODE 유사 잔차 업데이트 메커니즘을 활용하여 안정적이고 확장 가능한 장기 예측 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 잠재 공간 내에서의 확률적 잔차 업데이트가 단일 분포 모델링을 초월해 장기 예측의 BEV 미래 인스턴스 예측을 향상시킬 수 있는가?
• RQ2 각 시간 단계에서 학습된 분포로부터 샘플링하는 것이 미래 예측의 다양성과 정확도에 어떤 영향을 미치는가?
• RQ3 후행 분포에 미래 모달리티 레이블을 조건부로 설정함으로써 예측 품질이 얼마나 향상되며, 추론 의존성과의 상호 교환 관계는 어떠한가?
• RQ4 상태공간 모델이 복잡한 시간적 동역학을 효율적으로 학습하면서도 장기 예측에서 높은 정확도와 다양성을 유지할 수 있는가?
• RQ5 기존 방법과 비교해 공간적으로 먼 에이전트의 미래 상태 예측 성능은 어떠한가?

주요 결과

• StretchBEV-P는 장기 예측에서 근접 영역 예측에 대해 일반화 에너지 거리(GED) 82.04를 기록했으며, 원거리 영역 예측에선 109.12를 기록하여, 각각 FIERY의 127.18과 152.38을 크게 앞서나갔다.
• StretchBEV-P는 2초 예측 범위에서 세그멘테이션 예측에 대해 IoU 65.7을 달성했으며, FIERY의 58.8과 이전 방법의 44.3을 초월했다.
• 장기간 예측에서도 모델은 다양한 예측을 생성하며, 정성적 결과에서는 샘플 간에 다양한 회전 행동과 속도 조절이 관찰되었으며, 반면 FIERY는 평균 예측으로 수렴하는 경향을 보였다.
• 확률적 샘플링을 통한 잠재 공간 동역학의 활용은 자동 회귀 생성에 의존하지 않으면서도 정확하고 다양한 예측을 가능하게 하여 효율성을 유지한다.
• 후행 조건부 설정이 있는 모델(SqueezeBEV-P)은 모든 지표에서 뛰어난 성능를 기록했지만, 추론 시 미래 레이블의 가용성이 필요하다.
• 절단 실험 결과, 후행 조건부 설정이 성능 향상에 크게 기여하며, 특히 원거리 영역과 장기 예측 설정에서 두드러진다.