[논문 리뷰] ArTIST: Autoregressive Trajectory Inpainting and Scoring for Tracking

Fatemeh Sadat Saleh, Sadegh Aliakbarian외 2명|arXiv (Cornell University)|2020. 04. 16.

Video Surveillance and Tracking Methods참고 문헌 97인용 수 7

한 줄 요약

ArTIST는 자연스러운 운동의 가능성을 추정하여 트랙렛을 점수 매기고, 누락된 검출을 위한 궤적 보정을 가능하게 하는 확률적 순차적 생성 모델을 제안한다. 기하학적 정보만을 사용하여 MOTChallenge 및 JRDB 벤치마크에서 최신 기술 수준을 달성하며, 추가 학습이나 재식별 모듈 없이도 외관 기반 방법을 능가한다.

ABSTRACT

One of the core components in online multiple object tracking (MOT) frameworks is associating new detections with existing tracklets, typically done via a scoring function. Despite the great advances in MOT, designing a reliable scoring function remains a challenge. In this paper, we introduce a probabilistic autoregressive generative model to score tracklet proposals by directly measuring the likelihood that a tracklet represents natural motion. One key property of our model is its ability to generate multiple likely futures of a tracklet given partial observations. This allows us to not only score tracklets but also effectively maintain existing tracklets when the detector fails to detect some objects even for a long time, e.g., due to occlusion, by sampling trajectories so as to inpaint the gaps caused by misdetection. Our experiments demonstrate the effectiveness of our approach to scoring and inpainting tracklets on several MOT benchmark datasets. We additionally show the generality of our generative model by using it to produce future representations in the challenging task of human motion prediction.

연구 동기 및 목표

• 외관 또는 재식별 모델에 의존하지 않는, 기하학 기반의 강력한 스코링 함수를 개발하여 온라인 다중 객체 추적에 활용하는 것.
• 장기적인 가림이나 검출기 실패 문제를 해결하기 위해 누락된 궤적 세그먼트를 자동회귀적으로 보정하는 것.
• 추적 데이터에서 직접 자연스러운 인간 운동의 분포를 학습하여 향후 예측 및 트랙렛 일관성 향상에 기여하는 것.
• 세부 조정 없이도 또는 추가 데이터 준비 없이도 다양한 도메인에 일반화되는 스코링 함수를 보여주는 것.
• 현대적인 검출 헤드(예: Tracktor++)와 통합하여 추적 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 모델은 부분 관측된 궤적에 대해 자연스러운 인간 운동의 분포를 모델링하는 확률적 자동회귀 시퀀스 모델을 사용하여 가능성을 추정한다.
• 학습된 운동 분포에서 자동회귀적으로 샘플링하여 여러 가지 가능한 미래 궤적 완성도 생성한다.
• 관측된 궤적 세그먼트를 조건으로 삼아 누락된 부분을 샘플링하여 보정을 수행함으로써 자연스러운 운동 경로를 복원한다.
• 관측된 궤적에 대해 음의 로그가능도 손실을 사용하여 엔드 투 엔드로 학습하며, 좋은 vs. 나쁜 트랙렛에 대한 수동 애너테이션 필요 없음.
• 스코링 함수는 기하학적 일관성에 기반하여 외관 변화, 시점 이동, 도메인 이동에 대해 강건함.
• Tracktor++의 경계 상자 정밀화 헤드와 통합하여 검출 연관 및 추적 정확도를 추가로 향상시킴.

실험 결과

연구 질문

• RQ1 외관 또는 재식별 모델에 의존하지 않고도 순수 기하학적, 생성 모델이 자연스러운 운동 가능성에 기반해 트랙렛을 점수 매길 수 있는가?
• RQ2 가림이나 검출기 고장으로 인한 누락된 검출을 보완하기 위해 유사한 궤적 완성도를 생성함으로써 효과적으로 보정할 수 있는가?
• RQ3 학습된 운동 분포가 세부 조정 없이도, 예를 들어 JRDB와 같은 새로운 데이터셋을 포함한 다양한 도메인에 일반화되는가?
• RQ4 재식별 모듈 없이도 이 기술이 외관 기반 추적기보다 MOTA, IDF1, ID 스위치 측면에서 우수한 성능을 내는가?
• RQ5 이 모델이 인간 운동 예측 작업에서 얼마나 현실적인 미래 궤적 예측을 생성할 수 있는가?

주요 결과

• ArTIST는 MOT2017 벤치마크에서 MOTA 54.0과 IDF1 55.1을 기록하여 기하학 기반 및 외관 기반 최신 기술 수준 방법을 모두 능가한다.
• JRDB 데이터셋에서 ArTIST는 모든 평가된 방법 중 가장 높은 MOTA(0.236)를 기록했으며, 이는 PathTrack에서만 훈련하고 기하학적 특징만 사용했음에도 불구하고 가능했다.
• ArTIST는 Tracktor++ 대비 ID 스위치를 25% 감소시켰고, 별도의 재식별 모델이 필요 없이 뛰어난 정체성 일관성을 달성했다.
• 모델은 각 입력에 대해 여러 가지 가능한 미래 궤적을 생성하여 인간 운동 예측 작업에서 강력한 일반화 능력을 보였다.
• ArTIST*에서 잘못된 음성 수(FN)가 크게 감소하여 보정된 궤적이 자연스러운 운동과 일관되며 현실적임을 시사한다.
• ArTIST는 수작업으로 구성된 광학 흐름이나 특징 추출 기법을 사용하지 않음에도 불구하고, PHD-GM 및 기타 운동 예측 모델보다 MOT2017에서 더 뛰어난 성능을 보였다.