[논문 리뷰] Refinements in Motion and Appearance for Online Multi-Object Tracking

Piao Huang, Shoudong Han외 5명|arXiv (Cornell University)|2020. 03. 16.

Video Surveillance and Tracking Methods참고 문헌 31인용 수 11

한 줄 요약

이 논문은 온라인 다중 객체 추적을 위한 새로운 아키텍처인 MIF를 제안한다. MIF는 운동 모델링, 3D 적분 이미지, 그리고 적응형 외관 특징 융합을 통합한다. 보행자 및 카메라 운동을 함께 모델링하고, 3D 적분 이미지를 활용해 공간적 제약을 적용함으로써 효율적인 데이터 연동을 구현하며, 음영과 오차 정렬 문제를 해결하기 위해 외관 특징을 적응적으로 융합한다. MIFT 추적기는 MOT16 및 MOT17 벤치마크에서 각각 60.1 MOTA를 기록하여 최신 기술 수준을 달성한다.

ABSTRACT

Modern multi-object tracking (MOT) system usually involves separated modules, such as motion model for location and appearance model for data association. However, the compatible problems within both motion and appearance models are always ignored. In this paper, a general architecture named as MIF is presented by seamlessly blending the Motion integration, three-dimensional(3D) Integral image and adaptive appearance feature Fusion. Since the uncertain pedestrian and camera motions are usually handled separately, the integrated motion model is designed using our defined intension of camera motion. Specifically, a 3D integral image based spatial blocking method is presented to efficiently cut useless connections between trajectories and candidates with spatial constraints. Then the appearance model and visibility prediction are jointly built. Considering scale, pose and visibility, the appearance features are adaptively fused to overcome the feature misalignment problem. Our MIF based tracker (MIFT) achieves the state-of-the-art accuracy with 60.1 MOTA on both MOT16&17 challenges.

연구 동기 및 목표

• 다중 객체 추적 시스템에서 별도의 운동 모델과 외관 모델의 한계를 해결한다.
• 보행자 및 카메라 운동 모델을 통합함으로써 궤적의 연속성과 강건성을 향상시킨다.
• 3D 적분 이미지를 활용한 공간적 제약을 통해 데이터 연동의 계산 비용을 감소시킨다.
• 음영, 크기 변화, 자세 변화로 인한 특징 오차 정렬 문제를 억제하기 위해 음영 인식 외관 모델을 제안한다.
• 제안된 프레임워크가 탐지 작업으로 확장 가능하도록 하여 공유된 모델링 구성 요소를 통해 탐지 성능을 향상시킨다.

제안 방법

• 비틀림 없는 보행자 운동과 강체 카메라 운동을 함께 처리할 수 있는 새로운 운동 강도 측정 기준을 사용한 운동 통합 모델을 제안한다.
• 검출 위치를 일항 특징 맵으로 인코딩하기 위해 3D 적분 이미지를 적용하여 데이터 연동을 위한 일정 시간 필터링을 가능하게 한다.
• 크기, 자세, 시간 간격에 따라 가시성과 특징 융합 방식을 적응적으로 조정하는 음영 인식 외관 모델을 설계한다.
• 가시성, 크기, 자세, 시간 간격을 측정하여 이력 궤적 특징과 도착 검출 간의 차이를 측정함으로써 적응형 외관 특징 융합을 구현한다.
• MIF 프레임워크를 추적기(MIFT)에 통합하고, FPN을 갖춘 Faster R-CNN 백본과 결합하여 탐지기(MIFD)로 확장한다.
• 3D 적분 이미지를 사용하여 연동 과정에서 관련이 없는 검출-궤적 쌍을 효율적으로 제거함으로써 검색 공간을 축소하면서 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 복잡한 환경에서 보행자 및 카메라 운동을 효과적으로 통합하여 궤적 추정 성능을 향상시킬 수 있는가?
• RQ2 3D 적분 이미지를 통한 공간적 제약이 온라인 MOT에서 데이터 연동의 계산 비용을 크게 감소시킬 수 있는가?
• RQ3 음영, 크기 변화, 자세 변화로 인한 외관 특징 오차 정렬 문제를 다중 객체 추적에서 효과적으로 완화할 수 있는가?
• RQ4 공유된 구성 요소를 통해 제안된 MIF 프레임워크가 추적 및 탐지 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 운동과 외관을 함께 모델링함으로써, 특히 빠른 카메라 운동이나 심한 음영이 있는 어려운 시퀀스에서 추적 정확도에 측정 가능한 향상이 이루어지는가?

주요 결과

• MIFT 추적기는 MOT16 및 MOT17 벤치마크에서 각각 60.1 MOTA를 기록하여 기존의 모든 온라인 추적기보다 뛰어난 성능을 달성한다.
• IDF1, MT(주로 추적됨), ML(주로 상실됨), FN(거짓 음성) 등 다양한 지표에서 뛰어난 성능을 보이며 궤적의 연속성과 강건성을 향상시켰음을 시사한다.
• 3D 적분 이미지의 사용으로 데이터 연동의 시간 복잡도가 일정 시간으로 감소하여, Tracktor와 같은 기준 방법 대비 추적기의 속도가 크게 향상된다.
• MIF 기반 탐지기(MIFD)는 0.88 AP, 67.4 MODA, 92.6% 재현율을 기록하여 대부분의 지표에서 비-MIF 기반 기준인 FRCNN+FPN를 초월하는 경쟁력 있는 탐지 성능을 확보한다.
• 빠르게 움직이는 카메라(MOT17-14)와 혼잡한 환경(MOT17-03) 등 도전적인 시퀀스에서도 높은 정확도를 유지하여 비정상적인 운동과 음영에 대한 강건성을 입증한다.
• 적응형 외관 특징 융합 메커니즘이 부분 음영 및 시점 변화 상황에서 노이즈가 많거나 정렬이 어긋난 특징의 영향을 효과적으로 줄였다.