[논문 리뷰] Multiple Target Tracking by Learning Feature Representation and Distance Metric Jointly

Jun Xiang, Guoshuai Zhang외 3명|arXiv (Cornell University)|2018. 02. 09.

Video Surveillance and Tracking Methods참고 문헌 10인용 수 12

한 줄 요약

이 논문은 다중 타겟 추적(MTT)을 위한 통합적인 딥러닝 프레임워크를 제안하며, 삼중손실(triplet loss)을 통해 외관 및 운동 특징 표현을 동시에 학습함으로써 엔드 투 엔드 거리 측정 학습을 가능하게 한다. 사람 Re-ID 스타일의 외관 특징을 추출하기 위해 CNN을, 운동 예측을 위해 LSTM을 활용함으로써, 선형 할당 전략만을 사용함에도 불구하고 MOT16 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Designing a robust affinity model is the key issue in multiple target tracking (MTT). This paper proposes a novel affinity model by learning feature representation and distance metric jointly in a unified deep architecture. Specifically, we design a CNN network to obtain appearance cue tailored towards person Re-ID, and an LSTM network for motion cue to predict target position, respectively. Both cues are combined with a triplet loss function, which performs end-to-end learning of the fused features in a desired embedding space. Experiments in the challenging MOT benchmark demonstrate, that even by a simple Linear Assignment strategy fed with affinity scores of our method, very competitive results are achieved when compared with the most recent state-of-theart approaches.

연구 동기 및 목표

• 장애물, 조명 변화, 외관 변화 등 복잡한 추적 환경에서 전통적인 수작업 특징의 한계를 해결하기 위해.
• MTT에서 직접 사용되는 딥 컨volution 네트워크(CNN) 특징의 열등한 분류 능력을 개선하기 위해 거리 측정 학습을 통합함으로써.
• 특징 표현과 거리 측정을 동시에 최적화하는 통합적인 딥 아키텍처를 설계하여 데이터 연동 성능을 향상시키기 위해.
• 삼중손실을 통한 엔드 투 엔드 학습이 추적에서 유사도 모델링에 있어 검증 손실보다 우수한 성능을 보임을 입증하기 위해.
• 제안된 임bedding 공간의 효과성을 입증하기 위해 단순한 선형 할당 전략을 사용하여 경쟁 가능한 성능을 달성함을 보여주기 위해.

제안 방법

• 감지 결과의 크롭 영역에서 강건한 외관 특징을 추출하기 위해 사람 Re-identification에 특화된 CNN을 활용한다.
• 시간적 운동 패턴을 모델링하고 타겟 위치를 예측하기 위해 LSTM 네트워크를 사용하여 운동 신호를 추출한다.
• 공유된 딥 네트워크 아키텍처를 통해 외관 및 운동 특징을 통합된 임베딩 공간에 융합한다.
• 내부 타겟 간 거리의 최소화와 외부 타겟 간 거리의 최대화를 목표로 삼중손실 함수를 사용하여 네트워크를 학습한다.
• 임베딩 공간이 거리 기반 연동에 최적화되도록 엔드 투 엔드 최적화를 수행한다.
• 데이터 연동에서 선형 할당에 대한 유사도 점수로 임bedding 간 유클리드 거리를 사용한다.

실험 결과

연구 질문

• RQ1 특징 표현과 거리 측정을 동시에 학습하는 것이 복잡한 MOT 환경에서 추적 성능을 향상시키는가?
• RQ2 추적 정확도와 견고성 측면에서 삼중손실 기반 거리 측정 학습은 검증 손실보다 어떻게 비교되는가?
• RQ3 장애물과 외관 변화 상황에서 외관 및 운동 신호가 추적 성능에 얼마나 기여하는가?
• RQ4 단순한 선형 할당 전략이 딥 거리 측정 학습과 조합되었을 때 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 기본 벤치마크에서 MOTA 및 MOTP 측정 기준으로 제안된 프레임워크는 최신 기술(MTT) 방법과 어떻게 비교되는가?

주요 결과

• 제안된 방법은 MOT16 테스트 세트에서 MOTA 44.3%를 달성하여, 선형 할당 전략만을 사용함에도 불구하고 최고 성능을 내는 추적기 중 하나이다.
• 삼중손실은 추적 성능에서 검증 손실보다 17–23% 우수한 성능을 보이며, MTT에서의 거리 측정 학습에 있어 그 우월성을 입증한다.
• 외관 특징이 성능 향상에 가장 크게 기여하며, 혼잡하고 장애물이 많은 상황에서 운동 신호가 보완적인 이점을 제공한다.
• 제거 실험을 통해 외관, 운동, 삼중손실의 조합이 가장 높은 성능(23.00% MOTA)을 내는 것으로 확인되었으며, 검증 손실을 사용하는 모델보다 우수하다.
• A+M+T 조합에서는 23.00% MOTA를 달성하는 반면, A+V 구성은 단지 16.2%에 머물러 있어 삼중손실의 핵심적 역할을 확인할 수 있다.
• Quad-CNN 대비 0.2 MOTA 향상으로 경쟁 가능한 성능을 달성하였으며, IDS 및 FP 등의 주요 지표에서 LMP 및 AMIR 등의 다른 최신 기술 방법을 초월한다.