[논문 리뷰] Frame-wise Motion and Appearance for Real-time Multiple Object Tracking

Jimuyang Zhang, Sanping Zhou외 2명|arXiv (Cornell University)|2019. 05. 06.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 11

한 줄 요약

이 논문은 실시간 다중 객체 추적 방법인 프레임별 운동 및 외관(FMA)을 제안한다. FMA는 프레임별 운동장(FMF)을 사용해 프레임 간 객체를 픽셀 수준의 이동 추정을 통해 효율적으로 연관지으며, 프레임별 외관 특징(FAF)을 사용해 모호한 매칭을 해결한다. FMA는 MOT17에서 25 FPS를 기록하며 경쟁적인 정확도를 달성하여 객체 수에 관계없이 실시간 추론을 가능하게 한다.

ABSTRACT

The main challenge of Multiple Object Tracking (MOT) is the efficiency in associating indefinite number of objects between video frames. Standard motion estimators used in tracking, e.g., Long Short Term Memory (LSTM), only deal with single object, while Re-IDentification (Re-ID) based approaches exhaustively compare object appearances. Both approaches are computationally costly when they are scaled to a large number of objects, making it very difficult for real-time MOT. To address these problems, we propose a highly efficient Deep Neural Network (DNN) that simultaneously models association among indefinite number of objects. The inference computation of the DNN does not increase with the number of objects. Our approach, Frame-wise Motion and Appearance (FMA), computes the Frame-wise Motion Fields (FMF) between two frames, which leads to very fast and reliable matching among a large number of object bounding boxes. As auxiliary information is used to fix uncertain matches, Frame-wise Appearance Features (FAF) are learned in parallel with FMFs. Extensive experiments on the MOT17 benchmark show that our method achieved real-time MOT with competitive results as the state-of-the-art approaches.

연구 동기 및 목표

• 객체 수가 많아질수록 계산 비용이 급격히 증가하는 기존 MOT 방법의 비효율성을 해결한다.
• LSTM 기반 운동 모델과 Re-ID 기반 매칭의 한계를 극복하여 객체 수에 따라 성능이 급격히 떨어지는 문제를 해결한다.
• 프레임별 표현을 통해 객체 수와 무관하게 연관 계산을 분리함으로써 실시간 추론을 가능하게 한다.
• 외관 변화나 가림 현상에 강건한 성능을 확보하기 위해 보조 외관 특징을 사용하되, 속도를 저하시키지 않는다.
• 고정된 네트워크 아키텍처 제약 없이 무한한 수의 객체를 다룰 수 있는 일반화된 엔드 투 엔드 딥 러닝 프레임워크를 개발한다.

제안 방법

• 두 연속 프레임 간 객체 바운딩 박스 간 좌표 이동을 추정하는 픽셀 수준의 이동 지도인 프레임별 운동장(FMF)을 도입한다.
• FMF를 사용해 단순한 공간 왜곡을 통해 다음 프레임의 객체 위치를 예측함으로써, 이중 매칭 없이 IOU 기반의 빠른 일대일 매칭을 가능하게 한다.
• 모든 객체의 전역 외관 표현을 캡처하기 위해 Re-ID 손실을 사용해 동시에 프레임별 외관 특징(FAF)을 학습한다.
• FMF에 의해 모호한 매칭으로 식별된 경우에만 FAF를 적용하여 추론 중 계산 비용을 최소화한다.
• 먼저 FMF를 사용해 빠른 매칭을 수행한 후, 필요한 경우에만 FAF를 적용해 모호한 연관성을 정밀하게 보정하는 경량 추론 알고리즘을 설계한다.
• 외부 Re-ID 데이터셋에 의존하지 않고 MOT17 데이터에서부터 엔드 투 엔드 네트워크를 새로 학습한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 객체 수에 관계없이 추론 비용이 일정한 실시간 다중 객체 추적을 달성할 수 있는가?
• RQ2 이중 매칭이나 순환 구조 없이도 프레임별 운동장(FMF)이 프레임 간 객체 연관성을 효과적으로 표현할 수 있는가?
• RQ3 추론 중에 선택적으로만 사용되는 프레임별 외관 특징(FAF)이 모호한 매칭을 얼마나 효과적으로 해결할 수 있는가?
• RQ4 외부 Re-ID 데이터 없이 MOT17 데이터에서만 학습한 방법이 경쟁적인 성능을 달성할 수 있는가?
• RQ5 FMF 기반 추적 방법이 가림, 시점 변화, 검출 노이즈 등의 도전적인 조건에서도 얼마나 강건한가?

주요 결과

• FMA는 최적화되지 않은 PyTorch(FP32)를 사용해 단일 Titan XP GPU에서 MOT17 벤치마크에서 25 FPS를 기록하여 실시간 추론 능력을 입증했다.
• 메트릭 기준으로 FMA는 경쟁적인 정확도를 확보했다: SDP 검출기 사용 시 MOT17 테스트 세트에서 HOTA 57.5%, MOTA 24.1%, IDF1 30.2%를 기록했다.
• FMF를 통해 객체 수에 관계없이 확장 가능한 빠른 매칭이 가능하며, 추론 복잡도가 추적 객체 수에 따라 증가하지 않는다.
• 모호한 매칭이 발생하는 경우에만 FAF를 적용함으로써 고속 유지와 함께 어려운 시퀀스(가림, 외관 변화)에서 정확도 향상을 달성했다.
• 동일한 검출기(FRCNN, SDP)를 사용할 때 FMA는 MOTDT 및 MTDF와 같은 최신 온라인 방법보다 빠르거나 동등한 성능을 기록했다.
• 질적 추적 예시를 통해 조명 변화, 시점 변화, 상호 가림 등 도전적인 상황에서도 강건한 성능을 보였다.