[논문 리뷰] Single Object Tracking Research: A Survey

Ruize Han, Wei Feng외 2명|arXiv (Cornell University)|2022. 04. 25.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 종합 검토는 컴퓨터 시각에서 단일 객체 추적에 대한 포괄적인 개요를 제공하며, 핵심 상관 필터 및 시아메스 네트워크 프레임워크, 딥 러닝 기반 방법, 그리고 가림, 변형, 장기 추적과 같은 문제들을 다루는 전략을 중심으로 다룹니다. 벤치마크, 추세 및 향후 방향성(다중 모odal 융합 및 영상 이해 작업과의 통합 포함)을 분석합니다.

ABSTRACT

Visual object tracking is an important task in computer vision, which has many real-world applications, e.g., video surveillance, visual navigation. Visual object tracking also has many challenges, e.g., object occlusion and deformation. To solve above problems and track the target accurately and efficiently, many tracking algorithms have emerged in recent years. This paper presents the rationale and representative works of two most popular tracking frameworks in past ten years, i.e., the corelation filter and Siamese network for object tracking. Then we present some deep learning based tracking methods categorized by different network structures. We also introduce some classical strategies for handling the challenges in tracking problem. Further, this paper detailedly present and compare the benchmarks and challenges for tracking, from which we summarize the development history and development trend of visual tracking. Focusing on the future development of object tracking, which we think would be applied in real-world scenes before some problems to be addressed, such as the problems in long-term tracking, low-power high-speed tracking and attack-robust tracking. In the future, the integration of multimodal data, e.g., the depth image, thermal image with traditional color image, will provide more solutions for visual tracking. Moreover, tracking task will go together with some other tasks, e.g., video object detection and segmentation.

연구 동기 및 목표

• 컴퓨터 시각에서 단일 객체 추적의 진화와 현재 상태를 체계적으로 검토하기 위해.
• 상관 필터와 시아메스 네트워크라는 두 가지 주요 추적 프레임워크의 핵심 원리와 대표적 연구를 분석하기 위해.
• 네트워크 아키텍처 기반으로 딥 러닝 기반 추적 방법을 분류하고 검토하기 위해.
• 가림, 변형, 장기 추적 실패, 그리고 적대적 공격에 대한 강건성과 같은 핵심 과제를 식별하고 논의하기 위해.
• 향후 연구 방향을 예측하기 위해, 다중 모달 데이터 통합 및 영상 객체 검출 및 분할과 같은 다중 작업 학습과의 통합을 포함합니다.

제안 방법

• 추적 방법을 상관 필터 기반 및 시아메스 네트워크 기반 프레임워크라는 두 가지 주요 범주로 분류합니다.
• Siamese 트윈, 이중 스트림 네트워크, 트랜스포머 기반 아키텍처와 같은 네트워크 구조에 따라 딥 러닝 기반 추적 방법을 검토합니다.
• 기존의 과제 해결 전략, 예를 들어 가림 추론, 외관 모델링, 운동 추정과 같은 전략을 분석합니다.
• 주요 추적 벤치마크(예: OTB, VOT, LaSOT, TrackingNet)를 평가하고, 다양한 데이터셋 간 성능을 비교합니다.
• 기존 방법에서 딥 러닝 기반 접근법으로의 시각 추적 발전 궤적을 분석합니다.
• 향후 연구 방향으로, RGB와 함께 깊이 및 열화상 데이터 융합 및 영상 수준 작업(예: 검출 및 분할)과의 통합을 제안합니다.

실험 결과

연구 질문

• RQ1 단일 객체 추적에서 상관 필터 및 시아메스 네트워크 프레임워크의 핵심 설계 원리와 대표적 방법은 무엇인가요?
• RQ2 딥 러닝 기반 추적 방법은 네트워크 아키텍처와 성능 측면에서 어떻게 진화해왔나요?
• RQ3 가림, 변형, 장기 추적 실패에 대응하기 위해 가장 효과적인 전략은 무엇인가요?
• RQ4 주요 벤치마크는 추적 성능 평가에서 어떻게 비교되며, 알고리즘의 강점과 약점을 밝혀내는 데 어떤 통찰을 제공합니까?
• RQ5 실세계 구현을 위한 향후 주요 연구 방향은 무엇인가요?

주요 결과

• 상관 필터 기반 방법은 효율적인 상관 연산 덕분에 실시간 추적에 효과적이며, 특히 낮은 복잡도 환경에서 유리합니다.
• 시아메스 네트워크는 강력한 특징 학습 능력과 외관 변화에 대한 강건성 덕분에 현대 추적에서 지배적인 위치를 차지하고 있습니다.
• 딥 러닝 기반 방법은 표준 벤치마크에서 전통적 방법보다 뚜렷이 뛰어나며, 특히 변형과 운동 블러 처리에서 유리합니다.
• 장기 추적은 여전히 주요 과제이며, 특히 장시간의 가림과 외관 드리프트 발생 시에 어렵습니다.
• 적대적 공격에 대한 강건성과 저전력, 고속 추적은 실세계 구현을 위한 핵심 열린 문제로 지목됩니다.
• 향후 추적 시스템은 다중 모달 데이터(예: 깊이, 열화상) 통합과 함께, 검출 및 분할과 같은 관련 영상 작업과 함께 공동 최적화될 것으로 기대됩니다.