[논문 리뷰] Unsupervised Multiple Person Tracking using AutoEncoder-Based Lifted Multicuts

Kalun Ho, Janis Keuper외 1명|arXiv (Cornell University)|2020. 02. 04.

Video Surveillance and Tracking Methods참고 문헌 52인용 수 8

한 줄 요약

이 논문은 인간의 레이블이 없이도 안정적인 외형 특징을 학습할 수 있도록 공간-시간적 신호와 오토에인코더 기반의 잠재 공간을 활용하는 완전히 비지도 다중 인물 추적 방법을 제안한다. 오토에인코더 학습 과정에 업그레이드된 멀티컷 제약 조건을 통합함으로써, 모델은 정체성에 불변인 표현을 학습하게 되어 장거리 재식별이 가능해지며, 인간 레이블 없이 MOT17 벤치마크에서 48.1%의 경쟁적인 MOTA 성능을 달성한다.

ABSTRACT

Multiple Object Tracking (MOT) is a long-standing task in computer vision. Current approaches based on the tracking by detection paradigm either require some sort of domain knowledge or supervision to associate data correctly into tracks. In this work, we present an unsupervised multiple object tracking approach based on visual features and minimum cost lifted multicuts. Our method is based on straight-forward spatio-temporal cues that can be extracted from neighboring frames in an image sequences without superivison. Clustering based on these cues enables us to learn the required appearance invariances for the tracking task at hand and train an autoencoder to generate suitable latent representation. Thus, the resulting latent representations can serve as robust appearance cues for tracking even over large temporal distances where no reliable spatio-temporal features could be extracted. We show that, despite being trained without using the provided annotations, our model provides competitive results on the challenging MOT Benchmark for pedestrian tracking.

연구 동기 및 목표

• 사람 재식별을 위해 인간이 레이블링한 데이터에 의존하지 않는 완전히 비지도 다중 객체 추적 방법을 개발하는 것.
• 자세, 시점, 가림 등의 변화가 있더라도 장거리 시간 간격에서도 일반화 가능한 강력한 외형 표현을 학습하는 것.
• 깊이 신경망 오토에인코더에 공간-시간적 신호를 통합하여 잠재 공간에서 정체성 일관성을 강제하는 것.
• 어떤 지도 학습 데이터나 사전 학습 모델 없이도 MOT17 벤치마크에서 경쟁 가능한 추적 성능을 달성하는 것.
• 자기지도 학습을 통해 업그레이드된 멀티컷이 MOT에 적합한 외형 메트릭을 생성할 수 있음을 보여주는 것.

제안 방법

• 이 방법은 이웃 프레임 간의 IoU와 같은 공간-시간적 신호를 기반으로 최소 비용 업그레이드된 멀티컷을 사용하여 검출 결과를 클러스터링함으로써 초기 트랙릿을 형성한다.
• 이 트랙릿은 동일한 트랙릿에 속한 검출 결과의 잠재 표현 간 거리를 최소화하도록 컨볼루션 오토에인코더를 훈련시킨다.
• 잠재 공간에서 정체성 일관성을 강제하는 클러스터링 손실을 사용하여 오토에인코더를 훈련함으로써 시간에 따라 변하지 않는 외형 특징을 학습한다.
• 결과적으로 생성된 잠재 표현은 공간-시간적 신호가 실패하는 장거리 간격에서도 재식별에 대해 강력한 외형 특징으로 기능한다.
• 장거리 연결을 모델링하기 위해 10-, 20-, 30프레임 간격에서 업그레이드된 엣지를 멀티컷 그래프에 추가한다.
• 최종 추적 솔루션은 공간-시간적 특징과 학습된 외형 특징을 모두 사용하여 최소 비용 업그레이드된 멀티컷 문제를 푸는 방식으로 도출된다.

실험 결과

연구 질문

• RQ1 완전히 비지도 방법이 인간이 레이블링한 데이터에 의존하지 않고 효과적인 외형 특징을 학습할 수 있는가?
• RQ2 이웃 프레임의 공간-시간적 신호를 사용하여 딥 오토에인코더에서 정체성에 불변인 표현을 학습시킬 수 있는가?
• RQ3 트랙릿 수준의 클러스터링 정보를 오토에인코더에 통합함으로써 장거리 재식별 성능이 향상되는가?
• RQ4 결과적으로 생성된 잠재 공간이 어떤 지도 학습 없이도 MOT17 벤치마크에서 경쟁 가능한 추적 성능을 달성할 수 있는가?
• RQ5 장거리 거리에서 업그레이드된 엣지를 통합할 경우 추적 정확도와 정체성 전환 수가 어떻게 영향을 받는가?

주요 결과

• 제안된 비지도 방법은 MOT17 테스트 세트에서 48.1%의 MOTA 성능을 달성하여 인간의 레이블 없이도 높은 경쟁력을 입증한다.
• 오토에인코더 학습 과정에서 클러스터링 손실을 적용함으로써 성능이 크게 향상되었으며, 지도 학습이 없는 기본 오토에인코더 대비 MOTA가 10.6 포인트 향상되었다.
• 정체성 전환 수가 기본 모델 대비 116건 감소하여 더 나은 정체성 일관성을 보였다.
• 최고의 성능은 SDP 검출기에서 기록되었으며(MOTA 57.7%), 특히 곤란한 시퀀스인 MOT17-08에서 노이즈가 많은 DPM 검출기에서는 성능이 저하되었다.
• 10~30프레임 간격의 장거리 업그레이드된 엣지를 추가함으로써 추적 정확도가 향상되고 정체성 전환이 감소하였으며, 최적의 설정에서 훈련 데이터에서 49.9%의 MOTA를 기록하였다.
• 이 방법은 비지도 접근 방식 중 최고 수준의 성능을 기록하였으며, MOT17 벤치마크에서 다른 완전히 비지도 방법들을 능가하였다.