[논문 리뷰] Multiple Object Tracking from appearance by hierarchically clustering tracklets

Andreu Girbau, Ferran Marqués외 1명|arXiv (Cornell University)|2022. 10. 07.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 외관 특징을 기반으로 트랙릿을 계층적으로 군집화하는 방법을 제안하여 다중 객체 추적을 수행한다. 하향식 군집화 접근 방식을 활용하여 조각난 물체 궤적을 일관된 트랙으로 묶으며, 프레임 간 시각적 외관 일관성을 활용함으로써 추적 정확도를 향상시킨다.

ABSTRACT

Current approaches in Multiple Object Tracking (MOT) rely on the spatio-temporal coherence between detections combined with object appearance to match objects from consecutive frames. In this work, we explore MOT using object appearances as the main source of association between objects in a video, using spatial and temporal priors as weighting factors. We form initial tracklets by leveraging on the idea that instances of an object that are close in time should be similar in appearance, and build the final object tracks by fusing the tracklets in a hierarchical fashion. We conduct extensive experiments that show the effectiveness of our method over three different MOT benchmarks, MOT17, MOT20, and DanceTrack, being competitive in MOT17 and MOT20 and establishing state-of-the-art results in DanceTrack.

연구 동기 및 목표

• 다중 객체 추적에서 조각나고 일관성 없는 물체 궤적의 문제를 해결한다.
• 짧고 노이즈가 많은 트랙릿을 일관되고 장기적인 트랙으로 묶음으로써 추적 성능을 향상시킨다.
• 외관 특징을 활용하여 프레임 간 트랙릿 연관의 강건성을 향상시킨다.
• 운동 모델에 대한 의존도를 줄이고 트랙릿 군집화에서 시각적 외관 유사성에 중점을 두어 추적 정확도를 높인다.
• 복잡한 시각적 환경에서 다중 객체를 효율적이고 확장 가능한 방식으로 추적할 수 있는 방법을 개발한다.

제안 방법

• 딥 네ural 네트워크를 사용하여 검출된 객체 제안 영역에서 외관 특징을 추출한다.
• 그리디 또는 그래프 기반 접근 방식을 사용하여 인접 프레임 간 검출 결과를 연결하여 짧은 트랙릿을 생성한다.
• 외관 유사도를 기반으로 트랙릿을 군집화하기 위해 계층적 군집화를 적용하며, 코사인 유사도와 같은 거리 측도를 사용한다.
• 가장 유사한 트랙릿을 반복적으로 병합하는 하향식 응집 군집 전략을 사용한다.
• 임계값 기반 병합 기준을 적용하여 군집의 세분성 제어 및 과도한 병합 방지를 한다.
• 후처리를 통해 낮은 신뢰도 또는 일관성 없는 연관 관계를 제거함으로써 최종 트랙을 정제한다.

실험 결과

연구 질문

• RQ1 외관 기반 트랙릿의 계층적 군집화가 다중 객체 추적의 정확도를 향상시킬 수 있는가?
• RQ2 막힘 현상이 빈번한 복잡한 환경에서 외관 기반 군집화는 운동 기반 추적과 비교해 어떻게 성능을 발휘하는가?
• RQ3 조각난 트랙릿을 일관된 물체 궤적으로 묶는 데 최적의 군집 전략은 무엇인가?
• RQ4 조명, 시점, 막힘으로 인한 외관 변화에 대해 이 방법은 얼마나 민감한가?
• RQ5 높은 객체 밀도와 빈번한 상호작용이 발생하는 장시간 시퀀스에서도 이 방법은 확장 가능한가?

주요 결과

• 제안된 방법은 외관 특징과 트랙릿 군집화를 효과적으로 조합함으로써 표준 다중 객체 추적 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 계층적 군집화가 특히 자주 막힘 현상이 발생하는 붐비는 환경에서 트랙 분할을 크게 줄인다.
• 운동 모델만을 사용하는 방법에 비해 외관 기반 유사도가 더 일관되고 장기적인 트랙을 생성한다.
• 딥 외관 임bedding를 사용할 경우 외관 변화에 대해 뛰어난 강건성을 보였다.
• 제거 분석 결과, 외관 군집화가 운동 모델링만으로는 달성하기 어려운 추적 정확도 향상에 더 큰 기여를 한다는 것이 확인되었다.
• 군집화 오버헤드가 있음에도 불구하고 높은 효율성을 유지하여 실시간 응용에 적합함을 입증했다.