[논문 리뷰] Back to square one: probabilistic trajectory forecasting without bells and whistles

Ehsan Pajouheshgar, Christoph H. Lampert|arXiv (Cornell University)|2018. 12. 07.

Anomaly Detection Techniques and Applications참고 문헌 9인용 수 5

한 줄 요약

이 논문은 출력 확률 분포를 직접 모델링하기 위해 이산 소프트맥스 레이어를 사용하는 단순한 시공간 컨볼루션 신경망인 STCNN을 제안한다. 이로 인해 복잡한 잠재변수 구조가 필요 없어지며, 최대우도 학습과 순차적 샘플링을 통해 MNISTseq 및 Stanford Drone 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다. 또한 기존 평가 지표에 도전한다.

ABSTRACT

We introduce a spatio-temporal convolutional neural network model for trajectory forecasting from visual sources. Applied in an auto-regressive way it provides an explicit probability distribution over continuations of a given initial trajectory segment. We discuss it in relation to (more complicated) existing work and report on experiments on two standard datasets for trajectory forecasting: MNISTseq and Stanford Drones, achieving results on-par with or better than previous methods.

연구 동기 및 목표

• 확률적 궤적 예측을 위한 복잡한 잠재변수 모델의 더 단순하고 효율적인 대안을 개발하기 위해.
• 다중 모달 예측에서 부족한 기존 평가 지표가 모델 비교를 방해하거나 오도하는 문제를 해결하기 위해.
• 출력 레이어에서 명시적인 확률 모델링이 잠재변수를 사용하는 모델과 동등하거나 더 뛰어난 성능을 낼 수 있음을 보여주기 위해.
• 이산 확률 출력에 대해 수학적으로 타당하고 명확한 정의가 내려진 교차엔트로피 기반 평가 측정법을 제안하고 검증하기 위해.
• 코드를 공개하고 새로운 지표로 이전 모델을 재평가함으로써 공정한 벤치마킹을 가능하게 하기 위해.

제안 방법

• 3D 컨볼루션을 사용하여 시공간 궤적 세그먼트를 처리하는 완전 컨볼루션형 인코더–보틀넥–디코더 아키텍처를 사용한다.
• 2D 및 3D 컨볼루션 레이어를 통해 초기 궤적 세그먼트를 잠재 표현으로 인코딩하며, 선택적으로 기준 이미지를 조건으로 삼을 수 있다.
• 업컨볼루션의 시퀀스와 최종 소프트맥스 레이어를 통해 다음 궤적 단계의 픽셀 위치에 대한 이산 확률 분포를 생성한다.
• 모델은 순차적 샘플링을 가능하게 한다: 각 단계에서 예측된 분포에서 다음 위치를 샘플링하며, 이를 반복적으로 업데이트한다.
• 모든 학습 시퀀스에서 진짜 다음 단계 위치의 로그우도를 사용하여 최대우도 추정을 통해 학습한다.
• 기준 이미지는 표준 CNN으로 인코딩되고, 궤적의 잠재 표현과 연결된 후 업컨볼루션 디코딩을 수행한다.

실험 결과

연구 질문

• RQ1 출력 레이어에서 명시적인 확률 출력을 갖는 단순한 시공간 CNN이 복잡한 잠재변수 모델의 성능을 따라하거나 뛰어넘을 수 있는가?
• RQ2 출력 레이어에서 이산 확률 분포를 직접 모델링함으로써 다중 모달 예측에서 잠재변수의 필요성을 제거할 수 있는가?
• RQ3 기존 평가 지표인 L² 오차와 상위 10퍼센트 오라클 오차가 모델 비교를 어떻게 오도하는가? 더 나은 대안은 무엇인가?
• RQ4 다양한 방향과 속도를 추측하는 단순한 '샷건' 베이스라인 모델이 오라클 지표에서 학습된 모델을 능가할 수 있는가?
• RQ5 제안된 교차엔트로피 측정법은 기존 지표보다 확률적 궤적 예측 평가에 더 신뢰성 있고 해석 가능할 수 있는가?

주요 결과

• MNISTseq에서 STCNN는 27.7의 교차엔트로피 스코어를 기록하여 가우시안-LSTM 베이스라인(73.4)을 크게 앞서며 성능을 뛰어넘었다.
• SDD 데이터셋에서 STCNN-T(궤적만 사용)는 평균 교차엔트로피 23.5 ± 0.8을 기록하여 LSTM 베이스라인(25.0 ± 0.5)을 능가했다.
• 기준 이미지를 포함한 STCNN-T+I의 경우 교차엔트로피가 21.3 ± 0.8로 감소하여 맥락 정보의 유용성을 입증했다.
• STCNN의 상위 10퍼센트 오라클 오차는 최신 기술 수준의 모델과 경쟁 가능했지만, 단순한 '샷건' 베이스라인도 동일한 점수를 기록하여 이 지표가 무작위 추측을 유도한다는 점을 시사했다.
• STCNN의 L² 오차(43.0)는 LSTM 베이스라인(35.6)보다 열 劣하므로, L²가 다중 모달 예측을 흉본다는 점을 확인했으며, 이는 바람직하지 않은 결과이다.
• 정성적 결과에서는 STCNN가 MNISTseq의 점프 패턴이나 SDD의 피하기 행동과 같은 데이터 특화 패턴을 반영하는 다양한 다중 모달 분포를 학습함을 보여주었으며, 이는 복잡한 아키텍처 없이도 가능하다.