[논문 리뷰] Video Object Segmentation and Tracking: A Survey

Rui Yao, Guosheng Lin외 3명|arXiv (Cornell University)|2019. 04. 19.

Video Surveillance and Tracking Methods참고 문헌 183인용 수 42

한 줄 요약

이 논문은 비디오 객체 분할 및 추적(VOST)에 대한 포괄적 연구를 제공하고 방법의 계층적 분류를 제시하며 데이터셋, 메트릭스, 향후 방향을 요약합니다.

ABSTRACT

Object segmentation and object tracking are fundamental research area in the computer vision community. These two topics are diffcult to handle some common challenges, such as occlusion, deformation, motion blur, and scale variation. The former contains heterogeneous object, interacting object, edge ambiguity, and shape complexity. And the latter suffers from difficulties in handling fast motion, out-of-view, and real-time processing. Combining the two problems of video object segmentation and tracking (VOST) can overcome their respective difficulties and improve their performance. VOST can be widely applied to many practical applications such as video summarization, high definition video compression, human computer interaction, and autonomous vehicles. This article aims to provide a comprehensive review of the state-of-the-art tracking methods, and classify these methods into different categories, and identify new trends. First, we provide a hierarchical categorization existing approaches, including unsupervised VOS, semi-supervised VOS, interactive VOS, weakly supervised VOS, and segmentation-based tracking methods. Second, we provide a detailed discussion and overview of the technical characteristics of the different methods. Third, we summarize the characteristics of the related video dataset, and provide a variety of evaluation metrics. Finally, we point out a set of interesting future works and draw our own conclusions.

연구 동기 및 목표

• 기존 VOST 접근법을 계층적 분류 체계로 분류한다(비지도 VOS, 반지도 VOS, 인터랙티브 VOS, 약지도 VOS, 그리고 세분할 기반 추적).
• 각 범주의 기술적 특성과 그것이 VOST의 도전과제(가려짐(occlusion), 변형, 모션 블러, 스케일 변화)를 어떻게 해결하는지 논의한다.
• VOST에 사용되는 관련 비디오 데이터셋과 평가 지표를 요약한다.
• VOST 방법의 향후 연구 방향과 잠재적 응용 가능성을 식별한다.

제안 방법

• VOST 방법에 대한 다섯 범주 계층 분류 체계를 제안한다: 비지도 VOS, 반지도 VOS, 인터랙티브 VOS, 약지도 VOS, 그리고 세분할 기반 추적.
• 각 범주에 대한 기술적 특성에 대한 상세한 논의와 개요를 제공한다.
• VOST 연구에서 사용되는 비디오 데이터셋과 평가 지표를 요약하고 비교한다.
• VOST의 실용적 응용 사례와 향후 연구 방향에 대해 논의한다.

실험 결과

연구 질문

• RQ1 비디오 객체 분할 및 추적 방법의 주요 범주는 무엇이며 어떻게 계층적으로 구성되어 있는가?
• RQ2 각 VOST 범주 내의 주요 기술적 특성과 접근 방식은 무엇인가?
• RQ3 VOST 방법을 평가하는 데 사용되는 데이터셋과 평가 지표는 무엇이며 그 특성은 무엇인가?
• RQ4 VOST 연구를 위해 식별된 향후 방향과 도전과제는 무엇인가?

주요 결과

• 본 조사는 VOST 방법의 다섯 가지 주요 범주로의 계층적 분류를 제안한다.
• 비지도 VOS, 반지도 VOS, 인터랙티브 VOS, 약지도 VOS 및 세분할 기반 추적에 걸친 기술적 특성에 대한 자세한 논의를 제공한다.
• 관련 비디오 데이터셋의 특징과 VOST를 위한 다양한 평가 지표를 요약한다.
• 본 논문은 VOST 연구를 진전시키기 위한 향후 연구 및 잠재적 방향에 대해 논의한다.
• 본 연구는 VOS와 VOT 간의 관계를 명확히 하고 세분할 기반 추적이 두 작업을 어떻게 통합하는지 논의한다.