[논문 리뷰] Online Multi-Object Tracking with Historical Appearance Matching and Scene Adaptive Detection Filtering

Young-Chul Yoon, Abhijeet Boragule외 3명|arXiv (Cornell University)|2018. 05. 28.

Video Surveillance and Tracking Methods참고 문헌 12인용 수 6

한 줄 요약

이 논문은 이력적 외형 매칭과 장면 적응형 검출 필터링을 통합하여 정체성 일致성을 향상시키는 온라인 다중 객체 추적 프레임워크를 제안한다. 강건한 외형 유사도를 위해 이중 단계로 훈련된 시아모이즈 네트워크를 사용하며, 장면의 복잡도에 따라 검출 임계값을 동적으로 조정함으로써 ID 전환을 크게 감소시키고, MOT16, MOT17, 2DMOT2015 벤치마크에서 MOTA 및 IDF1 점수를 향상시킨다.

ABSTRACT

In this paper, we propose the methods to handle temporal errors during multi-object tracking. Temporal error occurs when objects are occluded or noisy detections appear near the object. In those situations, tracking may fail and various errors like drift or ID-switching occur. It is hard to overcome temporal errors only by using motion and shape information. So, we propose the historical appearance matching method and joint-input siamese network which was trained by 2-step process. It can prevent tracking failures although objects are temporally occluded or last matching information is unreliable. We also provide useful technique to remove noisy detections effectively according to scene condition. Tracking performance, especially identity consistency, is highly improved by attaching our methods.

연구 동기 및 목표

• 차폐 및 노이즈 있는 검출로 인한 다중 객체 추적의 시간적 오류를 해결하기 위해.
• 신뢰할 수 있는 이력적 외형 특징을 활용하여 ID 전환과 추적 드리프트를 감소시키기 위해.
• 장면에 특화된 조건에 맞게 신뢰도 임계값을 적응적으로 조정하여 검출 필터링을 향상시키기 위해.
• 이중 단계로 훈련된 시아모이즈 네트워크를 사용해 외형 기반 데이터 연동을 향상시키기 위해.
• 일관된 검출 임계값에 의존하지 않고도 뛰어난 정체성 일치성을 달성하기 위해.

제안 방법

• 차폐 기간 동안 모호성을 해소하기 위해 신뢰할 수 있는 과거 외형을 저장하고 검색하는 이력적 외형 매칭 메커니즘을 도입한다.
• 이중 단계 훈련 과정을 통해 훈련된 복합 입력 시아모이즈 네트워크를 활용한다: 첫 번째 단계는 CUHK02에서, 두 번째 단계는 2015년 훈련 데이터에서 미세조정하여 외형 특징 학습을 향상시킨다.
• 장면의 복잡도에 따라 로컬 장면 복잡도에 기반해 신뢰도 임계값을 동적으로 설정하는 장면 적응형 검출 필터링 전략을 적용하여 고정 임계값을 대체한다.
• 지수 가중치를 사용하여 운동, 형태, 외형 신호를 통합된 유사도 점수로 조합한다: $\Lambda(i,j) = \Lambda^A \Lambda^S \Lambda^M$.
• 카르마 필터링을 사용하여 운동(위치)과 형태(너비, 높이) 상태를 예측함으로써 검출 노이즈에 대한 강건성을 향상시킨다.
• 복합 유사도 행렬을 기반으로 이중 매칭을 하우지안 알고리즘을 사용하여 데이터 연동을 수행한다.

실험 결과

연구 질문

• RQ1 이력적 외형 매칭이 객체의 차폐 기간 동안 ID 전환을 줄일 수 있는가?
• RQ2 이중 단계 훈련 전략이 다중 객체 추적에서 시아모이즈 네트워크의 외형 특징 일반화를 향상시키는가?
• RQ3 장면 적응형 검출 필터링이 복잡한 장면에서 고정 임계값 기반 필터링을 능가하는가?
• RQ4 외형, 운동, 형태 신호의 통합이 추적 강건성과 정체성 일치성에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 최신 기술 대비 MOTA 및 IDF1 지표를 얼마나 향상시키는가?

주요 결과

• 이력적 외형 매칭 방법은 특히 차폐 상황에서 추적 성능을 크게 향상시켰으며, 그 결과는 그림 7(a)에 나타나 있다.
• 이중 단계 훈련 방법은 MOT16 훈련 세트에서 가장 높은 MOTA를 기록하여 단일 데이터셋에서 훈련된 모델들을 능가했다.
• 장면 적응형 검출 필터링(SADF)은 $p_d = 0.3$일 때, 고정 임계값 기반 베이스라인 대비 임의의 양성 및 IDF1, IDSw 지표를 개선했다.
• 2DMOT2015에서 Ours(VisBest)는 최고의 IDF1(41.4)과 두 번째로 낮은 IDSw(460)를 기록했으며, 유사한 FP/FN 수치를 가진 [10] 및 [1]을 능가했다.
• MOT17에서 Ours(SADF)는 MOTA 48.3과 IDF1 51.1을 기록했으며, LSTM 기반 MHT_bLSTM에 비해 IDSw(1871 vs. 2069)가 낮고 최신 기술 수준의 성능을 달성했다.
• 절단 분석 결과, 각 구성 요소—이력적 외형, 이중 단계 훈련, 적응형 필터링—이 추적 성능 향상에 독립적으로 기여했다.