[논문 리뷰] POI: Multiple Object Tracking with High Performance Detection and Appearance Feature

Fengwei Yu, Wenbo Li외 4명|arXiv (Cornell University)|2016. 10. 19.

Video Surveillance and Tracking Methods참고 문헌 10인용 수 4

한 줄 요약

이 논문은 고성능 다중 객체 추적 프레임워크인 POI를 제안한다. 이는 최적화된 Faster R-CNN 검출기와 딥러닝 기반의 128D 외형 특징 네트워크를 활용하여 MOT16 벤치마크에서 온라인 기준 66.1%, 오프라인 기준 68.2%의 최고 수준의 MOTA 스코어를 달성한다. 이 방법은 우수한 검출 성능과 학습된 외형 특징이 기존 수작업으로 만든 특징보다 훨씬 뛰어나게 성능을 높임을 보여주며, 단순한 온라인 추적기 아키텍처에서도 성능 향상을 이룬다.

ABSTRACT

Detection and learning based appearance feature play the central role in data association based multiple object tracking (MOT), but most recent MOT works usually ignore them and only focus on the hand-crafted feature and association algorithms. In this paper, we explore the high-performance detection and deep learning based appearance feature, and show that they lead to significantly better MOT results in both online and offline setting. We make our detection and appearance feature publicly available. In the following part, we first summarize the detection and appearance feature, and then introduce our tracker named Person of Interest (POI), which has both online and offline version.

연구 동기 및 목표

• 수작업으로 만든 특징에 의존하지 않고 고정확도 객체 검출 및 딥러닝 기반 외형 특징을 활용하여 다중 객체 추적(MOT) 성능을 향상시키는 것.
• 고품질의 검출 및 외형 특징을 결합할 경우 단순한 온라인 추적기 아키텍처로도 최고 수준의 추적 성능를 달성할 수 있는지 조사하는 것.
• 고품질의 검출 및 외형 특징을 사용할 경우 온라인 및 오프라인 추적기 간의 성능 격차가 줄어들 수 있는지 확인하는 것.
• 향후 MOT 연구에 기여하기 위해 고품질의 검출 모델과 딥 외형 특징 네트워크를 공개하는 것.

제안 방법

• 멀티스케일 훈련과 스킵 풀링을 활용하여 ImageNet, ETHZ, Caltech 및 자체 수집한 감시 데이터셋의 조합에 대해 Faster R-CNN 검출기를 미세조정하여 검출 정확도를 향상시킨다.
• GoogLeNet을 모델로 삼아 CNN을 훈련시켜 사람 영역에서 128D 외형 특징을 추출하며, 분류 정확도 향상과 클래스 내 밀도 향상을 위해 병렬 소프트맥스 손실과 트리플릿 손실을 함께 사용한다.
• 온라인 추적기는 칼만 필터링을 활용해 운동 예측을 수행하고, 쿠하인-문크스 알고리즘을 사용해 데이터 연동을 수행하며, 외형, 운동, 형태 유사도를 종합하여 최종 유사도 점수를 계산한다.
• 유사도는 코사인 거리(외형), 정규화된 위치 오차의 지수 감쇠(운동), 정규화된 크기 차이(형태)의 곱으로 계산되며, 학습된 가중치를 적용한다.
• 두 단계 추적 품질 임계값 설정 메커니즘을 도입하여 고품질 및 저품질 트랙릿을 분리함으로써 연동 정확도를 향상시키고 오류 양성률을 감소시킨다.
• 크기 변화를 고려한 전략으로, 임계값 τs 및 τr를 사용하여 과도하게 큰 대상에 대해 신뢰도가 떨어지는 운동 및 균형 유사도를 억제한다.

실험 결과

연구 질문

• RQ1 고성능 검출 및 딥러닝 기반 외형 특징이 온라인 및 오프라인 환경 모두에서 MOT 성능을 크게 향상시킬 수 있는가?
• RQ2 학습된 외형 특징을 사용할 경우 복잡한 오프라인 추적 파이프라인의 필요성을 제거할 수 있으며, 온라인 및 오프라인 추적기 간의 성능 격차를 줄일 수 있는가?
• RQ3 검출 품질과 외형 특징 품질이 MOTA, IDS, FP 등의 주요 MOT 지표에 개별적 및 종합적으로 어떤 영향을 미치는가?
• RQ4 대상 크기의 변화가 추적 성능에 어떤 정도의 영향을 미치며, 이는 적응형 유사도 가중치로 보완될 수 있는가?
• RQ5 고품질의 검출 및 딥러닝 기반 외형 특징을 갖춘 단순한 온라인 추적기가 최고 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 검출기는 FP+FN 합계를 DPMv5의 91,192에서 46,587로 감소시켜 검출 품질을 크게 향상시켰다.
• 온라인 추적기는 MOT16 테스트 세트에서 MOTA 66.1%를 달성하여 최고 수준의 KFILDAwSDP(55.2%) 및 MCMOT-HDM(62.4%)를 능가했다.
• 오프라인 추적기는 MOTA 68.2%를 기록하여 MOT16 벤치마크에서 새로운 최고 기록을 수립했으며, 모든 방법 중에서 가장 낮은 FN(45,605)을 기록했다.
• 제안된 검출기와 딥러닝 기반 외형 특징의 조합은 훈련 세트에서 IDS를 DPMv5 + 우리 특징의 784에서 716으로, FM을 2,697에서 1,973으로 감소시켰다.
• 제안된 검출기와 특징을 갖춘 온라인 추적기는 훈련 세트에서 MOTA 65.2%를 달성하여 베이스라인(29.4%)을 크게 능가하며 강력한 일반화 능력을 보였다.
• 절단 분석 결과, 검출 품질과 외형 특징 품질이 모두 핵심 요소임을 확인했다: 제안된 검출기 또는 특징을 별도로 사용할 경우 최적의 성능를 얻을 수 없으나, 두 요소를 결합하면 최고 수준의 성능를 달성한다.