[논문 리뷰] Single Object Tracking: A Survey of Methods, Datasets, and Evaluation Metrics

Zahra Soleimanitaleb, Mohammad Ali Keyvanrad|arXiv (Cornell University)|2022. 01. 31.

Video Surveillance and Tracking Methods인용 수 12

한 줄 요약

이 종합 검토는 단일 객체 추적 방법을 특징 기반, 분할 기반, 추정 기반, 학습 기반 접근 방식으로 분류하며, 특히 생성형, 판별형, 강화 학습 하위 범주를 포함한 학습 기반 기법에 중점을 두고 있다. 표준 데이터셋과 평가 지표를 사용하여 최신 기술을 평가하여 컴퓨터 시각 및 추적 시스템 분야의 연구자들에게 통합된 참고 자료를 제공한다.

ABSTRACT

Object tracking is one of the foremost assignments in computer vision that has numerous commonsense applications such as traffic monitoring, robotics, autonomous vehicle tracking, and so on. Different researches have been tried later a long time, but since of diverse challenges such as occlusion, illumination variations, fast motion, etc. researches in this area continues. In this paper, different strategies of the following objects are inspected and a comprehensive classification is displayed that classified the following strategies into four fundamental categories of feature-based, segmentation-based, estimation-based, and learning-based methods that each of which has its claim sub-categories. The most center of this paper is on learning-based strategies, which are classified into three categories of generative strategies, discriminative strategies, and reinforcement learning. One of the sub-categories of the discriminative show is deep learning. Since of high-performance, deep learning has as of late been exceptionally much consider. Finally, the different datasets and the evaluation methods that are most commonly used will be introduced.

연구 동기 및 목표

• 특징 기반, 분할 기반, 추정 기반, 학습 기반의 네 가지 주요 범주로 단일 객체 추적 방법을 체계적으로 분류하는 것.
• 특히 딥 러닝 및 강화 학습 접근 방식을 중심으로 학습 기반 추적의 발전 과정과 현재 상태를 분석하는 것.
• 단일 객체 추적 연구에서 가장 널리 사용되는 벤치마크 데이터셋과 평가 지표를 검토하는 것.
• 2019년 이후의 발전, 과제, 추세를 통합하여 연구자들이 활용할 수 있는 종합적 참고 자료를 제공하는 것.
• 이전의 컫퍼런스 논문(ICCKE2019)을 바탕으로 최신 방법, 데이터셋, 평가 기준을 통합 및 업데이트하는 것.

제안 방법

• 추적 방법을 특징 기반, 분할 기반, 추정 기반, 학습 기반의 네 가지 핵심 그룹으로 분류하며, 각 그룹에 하위 범주를 포함한다.
• 학습 기반 방법을 생성형, 판별형, 강화 학습의 세 하위 그룹으로 분류하여 딥 러닝의 지배적 위치를 강조한다.
• 시아모이즈 네트워크 및 상관 필터와 같은 주요 딥 러닝 아키텍처를 검토하며, 설계 원칙을 부각시킨다.
• OTB, VOT, TrackingNet과 같은 표준 벤치마크를 사용한 평가 프로토콜을 분석하며, AOUC, 정밀도, 성공률 등의 지표에 중점을 둔다.
• 표준화된 지표와 데이터셋을 활용해 다양한 방법의 성능을 비교하여 음영, 운동 왜곡 등의 과제 상황에서의 내성에 대한 평가를 수행한다.
• 최근 문헌의 통찰을 종합하여 단일 객체 추적의 방법론적 추세와 한계를 종합적으로 제시한다.

실험 결과

연구 질문

• RQ1 특징 기반, 분할 기반, 추정 기반, 학습 기반의 각 추적 철학은 정확도와 내성 측면에서 어떻게 비교되는가?
• RQ2 특히 판별형 및 생성형 프레임워크에서의 딥 러닝 기반 추적 방법의 주요 발전 사항과 한계는 무엇인가?
• RQ3 실제 추적 과제를 가장 잘 반영하는 벤치마크 데이터셋과 평가 지표는 무엇인가?
• RQ4 강화 학습 기반 추적 방법의 통합은 역동적 또는 복잡한 환경에서 성능을 어떻게 향상시켰는가?
• RQ5 음영, 조도 변화, 빠른 운동과 같은 지속적인 과제들은 현재의 방법에서 어떻게 다루어지고 있는가?

주요 결과

• 딥 러닝 기반 방법, 특히 시아모이즈 네트워크와 같은 판별형 모델이 기존 방법에 비해 정확도와 내성 측면에서 크게 승승을 거두었다.
• VOT와 OTB 벤치마크는 여전히 가장 널리 사용되는 데이터셋이며, 성공률과 AUC(곡선 아래 면적)가 주로 사용되는 평가 지표이다.
• 강화 학습 기반 추적 방법은 장기 추적과 복잡한 운동 패턴 처리에 있어 잠재력을 보이고 있으나, 딥 러닝 대비 아직 다듬어지지 않은 상태이다.
• 음영과 조도 변화는 여전히 가장 지속적인 과제이며, 최신 기술 모델들도 심각한 조건에서는 여전히 어려움을 겪고 있다.
• 이 조사에서는 외관 모델링과 운동 추정을 조합한 하이브리드 아키텍처로의 추세를 확인하였다.
• 논문은 성능 향상이 이루어졌음에도 불구하고, 다양한 시각 도메인 간 일반화 능력 향상이 여전히 핵심 열린 과제로 남아 있다고 강조한다.