[논문 리뷰] Recent Advances in Embedding Methods for Multi-Object Tracking: A Survey

Gaoang Wang, Mingli Song외 1명|arXiv (Cornell University)|2022. 05. 22.

Video Surveillance and Tracking Methods인용 수 9

한 줄 요약

이 종합적 서베이는 다중 객체 추적(MOT)에서 임bedding 방법에 대한 포괄적인 분석을 제공하며, 패치 수준, 단일 프레임, 프레임 간 결합, 상관관계, 순차적, 트랙렛, 그리고 트랙 간 상관관계 임베딩의 일곱 가지 유형으로 분류하여 그 강점, 한계, 설계 원칙에 대한 깊이 있는 통찰을 제공한다. 또한 표준 벤치마크에서 최신 기법들을 평가하고, 일반화 성능 향상을 위한 자기지도 사전 훈련 및 보조 학습과 같은 다루지 않은 연구 방향을 규명한다.

ABSTRACT

Multi-object tracking (MOT) aims to associate target objects across video frames in order to obtain entire moving trajectories. With the advancement of deep neural networks and the increasing demand for intelligent video analysis, MOT has gained significantly increased interest in the computer vision community. Embedding methods play an essential role in object location estimation and temporal identity association in MOT. Unlike other computer vision tasks, such as image classification, object detection, re-identification, and segmentation, embedding methods in MOT have large variations, and they have never been systematically analyzed and summarized. In this survey, we first conduct a comprehensive overview with in-depth analysis for embedding methods in MOT from seven different perspectives, including patch-level embedding, single-frame embedding, cross-frame joint embedding, correlation embedding, sequential embedding, tracklet embedding, and cross-track relational embedding. We further summarize the existing widely used MOT datasets and analyze the advantages of existing state-of-the-art methods according to their embedding strategies. Finally, some critical yet under-investigated areas and future research directions are discussed.

연구 동기 및 목표

• 임베딩 방법을 체계적으로 분류하고 분석함으로써, 정체성 연관에 핵심적인 역할을 하면서도 종합적인 리뷰가 이루어지지 않은 다중 객체 추적(MOT) 분야에서의 중요성을 반영한다.
• 임베딩 전략에 기반한 최신 MOT 기법들을 평가하여 성능 우수성과 설계 상의 트레이드오프를 부각시킨다.
• 임베딩 학습 분야에서 다루지 않은 연구 영역, 예를 들어 자기지도 사전 훈련 및 보조 학습을 규명한다.
• 재현 가능한 벤치마크 및 방법 비교를 지원하기 위해 널리 사용되는 MOT 데이터셋과 평가 지표를 요약한다.
• 지식 정복, 다중 도메인 임베딩, 암묵적 행동 모델링과 같은 새로운 연구 방향을 제안함으로써 향후 연구를 이끌어낸다.

제안 방법

• 이 서베이에서는 패치 수준, 단일 프레임, 프레임 간 결합, 상관관계, 순차적, 트랙렛, 트랙 간 상관관계 임베딩의 일곱 가지 고유한 범주로 MOT 내 임베딩 방법에 대한 분류 체계를 수립한다.
• 각 임베딩 유형에 대해 아키텍처 설계, 특징 학습 메커니즘, 운동 및 외관 정보와의 통합 방식을 분석한다.
• 표준화된 벤치마크를 사용하여 최신 MOT 기법들을 평가하고, 임베딩 전략에 따른 성능을 보고한다. 여기에는 MOTA 및 HOTA와 같은 지표가 포함된다.
• 자기지도 사전 훈련 및 보조 학습 기법을 논의하여, 대규모 애너테이션에 의존하지 않고도 임베딩 일반화 성능을 향상시킬 수 있음을 제시한다.
• 지식 정복(예: Re-ID 및 검출 모델에서의 지식 정복), 다중 도메인 적응, 기하학적 및 시간적 일관성 탐색과 같은 향후 연구 방향을 제안한다.
• 메서드론에는 다양한 데이터셋 간 임베딩 기법의 비교 분석을 포함하며, 특히 가림, 운동, 해상도 도전 상황에서 추적의 강건성에 미치는 영향을 강조한다.

실험 결과

연구 질문

• RQ1 패치 수준, 프레임 간 결합, 상관관계 임베딩과 같은 다양한 임베딩 전략은 MOT에서 성능과 강건성 측면에서 어떻게 비교되는가?
• RQ2 현재의 임베딩 방법에서 가림 및 운동 모델링 측면에서의 주요 한계와 설계 상의 트레이드오프는 무엇인가?
• RQ3 자기지도 또는 보조 학습 기법을 통해 대규모 애너테이션 데이터가 필요 없이도 임베딩 품질을 향상시킬 수 있는 방법은 무엇인가?
• RQ4 영상 또는 이미지 작업에서 사전 학습된 표현을 MOT 임베딩 학습에 효과적으로 전이할 수 있는 방법은 무엇인가?
• RQ5 인과 추론이나 암묵적 행동 추정과 같은 다루지 않은 임베딩 기법은 추적 성능 향상에 어떻게 기여할 수 있는가?

주요 결과

• 서베이에서는 MOT 내 임베딩 방법이 설계 측면에서 상당한 차이를 보이며, 통합된 패러다임이 없고, 현재의 접근 방식들이 외관, 운동, 공간-시간적 신호를 다양한 방식으로 통합하고 있음을 규명한다.
• 프레임 간 결합 및 상관관계 임베딩은 객체 간 상호작용과 프레임 간 관계를 모델링함으로써, 특히 가림 상황에서 정확도를 향상시키는 데 뛰어난 성능을 보인다.
• 대규모 레이블 없는 영상 데이터를 대상으로 한 자기지도 사전 훈련은 MOT에 높은 잠재력을 지니고 있지만, 개체 수준 표현을 학습하기 위해 특화된 사전 과제가 필요하다.
• 예를 들어 자세 추정이나 이미지 Re-ID를 보조 과제로 사용하는 보조 학습은, 특히 데이터가 적은 환경에서 임베딩의 분류 능력과 일반화 능력을 향상시킨다.
• 검출 및 Re-ID 모델에서의 지식 정복은 임베딩 품질 향상과 종래의 엔드 투 엔드 훈련에 대한 의존도 감소를 위한 유망한 길이다.
• 암묵적 행동 모델링, 일관성 제약(예: 입출 카운팅), 궤도 예측을 위한 인과 추론 등 몇 가지 핵심 영역은 여전히 다루지 않은 채로 남아 있다.