[논문 리뷰] Trajectory Forecasting from Detection with Uncertainty-Aware Motion Encoding

Pu Zhang, Lei Bai외 4명|arXiv (Cornell University)|2022. 02. 03.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 추적된 궤적에 의존하지 않고 객체 검출 출력을 직접 사용하는 궤적 예측 모델을 제안한다. 이는 유사도 기반 상태 갱신과 다중 상태 집계를 통해 불확실성 인식 운동 인코딩을 통합함으로써 노이즈가 많은 검출에 대한 강건성을 향상시킨다. 이 방법은 어려운 조건에서 nuScenes 데이터셋에서 기존의 검출 기반 및 통합 추적-예측 방법보다 최대 25% 향상된 FDE 성능을 달성하여 최신 기술 수준(SOTA)을 확보한다.

ABSTRACT

Trajectory forecasting is critical for autonomous platforms to make safe planning and actions. Currently, most trajectory forecasting methods assume that object trajectories have been extracted and directly develop trajectory predictors based on the ground truth trajectories. However, this assumption does not hold in practical situations. Trajectories obtained from object detection and tracking are inevitably noisy, which could cause serious forecasting errors to predictors built on ground truth trajectories. In this paper, we propose a trajectory predictor directly based on detection results without relying on explicitly formed trajectories. Different from the traditional methods which encode the motion cue of an agent based on its clearly defined trajectory, we extract the motion information only based on the affinity cues among detection results, in which an affinity-aware state update mechanism is designed to take the uncertainty of association into account. In addition, considering that there could be multiple plausible matching candidates, we aggregate the states of them. This design relaxes the undesirable effect of noisy trajectory obtained from data association. Extensive ablation experiments validate the effectiveness of our method and its generalization ability on different detectors. Cross-comparison to other forecasting schemes further proves the superiority of our method. Code will be released upon acceptance.

연구 동기 및 목표

• 기존 궤적 예측 방법이 지표 또는 추적된 궤적에 의존하는 데서 비롯되는 한계를 해결하기 위해, 검출 및 추적 노이즈로 인해 손상된 궤적에 의존하지 않는 방법이 필요하다.
• 명시적으로 형성된 궤적을 필요로 하지 않고도 검출 결과를 직접 소비하는 예측 모델을 개발하기 위해.
• 검출 간의 연관성 불확실성을 모델링하여, 잘못된 데이터 연관성의 영향을 운동 인코딩에 최소화하기 위해.
• 다양한 가능성이 있는 검출 후보로부터 특징을 집계하여 운동 표현을 향상시키고, 국소화 오차 및 가짜 경고에 대한 민감도를 낮추기 위해.
• 다양한 객체 검출기 간의 일반화를 확보하고 실제 세계의 검출 노이즈 조건에서도 성능을 유지하기 위해.

제안 방법

• 검출 간의 운동 인식 유사도 점수를 연관성 불확실성의 대체 지표로 사용하는 유사도 기반 상태 갱신(ASU) 메커니즘을 도입하여, 운동 인코딩 과정의 상태 갱신을 이끌어낸다.
• 각 시간 단계에서 다수의 가능성이 있는 검출 후보로부터 특징을 집계하는 다중 상태 집계(MSA)를 활용하여 단일 오류에 대한 민감도를 감소시킨다.
• 장기적인 운동 특징을 활용하여 검출 간 매칭 신뢰도를 계산하는 운동 인식 유사도 측정 모듈을 설계하여, 데이터 연관성의 불확실성을 반영한다.
• 세 가지 모듈(유사도 측정, 불확실성 인식 운동 인코딩(ASU 및 MSA 사용), 궤적 복원)로 구성된 통합 프레임워크를 구축하며, 모든 모듈이 검출 결과에 직접 작용한다.
• 명시적 추적 경로에 의존하지 않고, 명시적 트래킹 없이도 시간적으로 연결된 검출(암시적 궤적)을 사용하여 에이전트의 운동을 표현한다.
• 다양한 검출 후보의 기여도를 가중치로 설정하기 위해 학습 가능한 어텐션 메커니즘(SIM 함수)을 적용하여 가짜 경고에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 명시적 추적 궤적에 의존하지 않고도 검출 결과에서 직접 궤적 예측을 효과적으로 수행할 수 있는가?
• RQ2 검출 간의 연관성 불확실성을 어떻게 모델링하고 운동 인코딩에 통합하여 예측의 강건성을 향상시킬 수 있는가?
• RQ3 다양한 가능성이 있는 검출 후보들을 효과적으로 집계하여 운동 표현을 향상시키고 노이즈가 많은 검출에 대한 민감도를 낮출 수 있는가?
• RQ4 제안된 방법은 다양한 객체 검출기 간에 일반화되며, 기존의 검출 기반 및 통합 추적-예측 접근법을 초월하는가?
• RQ5 불확실성과 다수 후보의 통합이 궤적 예측에서 가짜 경고와 국소화 오차의 영향을 얼마나 효과적으로 완화하는가?

주요 결과

• FreeAnchor 검출기와 조합했을 때, nuScenes 데이터셋에서 FDE@3s가 93.4를 기록하여 동일 평가 프로토콜에서 PTP(122.7)와 PnPNet(96)를 모두 초월한다.
• CentrNet 검출기와 함께 사용했을 때는 FDE@3s가 97.7을 기록하여 다양한 검출 백본에 대한 강력한 일반화 능력을 입증한다.
• PTP 대비 최대 25%까지 예측 오차를 감소시키며, PnPNet와 같은 최신 기술 수준의 통합 검출-예측 모델과 비교해도 열등하지 않은 성능을 보인다.
• ASU 및 MSA 메커니즘이 강건성을 크게 향상시킨다: 기존 기준 모델이 실패하는 경우에도, 근처의 운동 신호를 활용해 가짜 경고에 대해 정확한 궤적을 예측할 수 있다.
• 절단 실험 결과, ASU와 MSA가 성능 향상에 독립적으로 기여하며, 특히 마지막 프레임에서 신뢰할 수 없는 검출을 처리하는 데서 ASU가 특히 효과적임을 확인했다.
• Car 및 Vehicle 클래스 모두에서 높은 성능 유지를 보이며, Setting 2 조건에서 FDE@3s가 각각 104.1과 105.1을 기록하여 다양한 객체 유형 간 일관된 슈퍼리어리티를 입증했다.