[論文レビュー] Video Object Segmentation and Tracking: A Survey

Rui Yao, Guosheng Lin+3 more|arXiv (Cornell University)|Apr 19, 2019

Video Surveillance and Tracking Methods参考文献 183被引用数 42

ひとこと要約

この論文は、ビデオオブジェクトセグメンテーションと追跡（VOST）について包括的なサーベイを提供し、方法の階層的分類を提案し、データセット、指標、将来の方向性を要約する。

ABSTRACT

Object segmentation and object tracking are fundamental research area in the computer vision community. These two topics are diffcult to handle some common challenges, such as occlusion, deformation, motion blur, and scale variation. The former contains heterogeneous object, interacting object, edge ambiguity, and shape complexity. And the latter suffers from difficulties in handling fast motion, out-of-view, and real-time processing. Combining the two problems of video object segmentation and tracking (VOST) can overcome their respective difficulties and improve their performance. VOST can be widely applied to many practical applications such as video summarization, high definition video compression, human computer interaction, and autonomous vehicles. This article aims to provide a comprehensive review of the state-of-the-art tracking methods, and classify these methods into different categories, and identify new trends. First, we provide a hierarchical categorization existing approaches, including unsupervised VOS, semi-supervised VOS, interactive VOS, weakly supervised VOS, and segmentation-based tracking methods. Second, we provide a detailed discussion and overview of the technical characteristics of the different methods. Third, we summarize the characteristics of the related video dataset, and provide a variety of evaluation metrics. Finally, we point out a set of interesting future works and draw our own conclusions.

研究の動機と目的

• 既存のVOSTアプローチを階層的分類（教師なし VOS、半教師あり VOS、対話的 VOS、弱教師あり VOS、 segmentation-based tracking）に分類する。
• 各カテゴリの技術的特徴とVOSTの課題（遮蔽、変形、モーションブラー、スケール変動）にどう対処するかを説明する。
• VOSTに関連するビデオデータセットと評価指標を要約する。
• 将来の研究方向とVOST手法の潜在的な応用を識別する。

提案手法

• VOST手法の五カテゴリ階層分類を提案：unsupervised VOS、semi-supervised VOS、interactive VOS、weakly supervised VOS、そして segmentation-based tracking。
• 各カテゴリの技術的特徴の詳細な議論と概要を提供する。
• VOST研究で使用されるビデオデータセットと評価指標を要約・比較する。
• VOSTの実用的な応用と将来の研究方向を論じる。

実験結果

リサーチクエスチョン

• RQ1 ビデオオブジェクトセグメンテーションと追跡の主要カテゴリは何で、それらは階層的にどのように整理されているのか？
• RQ2 各VOSTカテゴリ内の主要な技術的特徴とアプローチは何か？
• RQ3 VOST手法を評価するためにどのデータセットと評価指標が使用されており、それらの特性は何か？
• RQ4 VOST研究における将来の方向性と課題は何か？

主な発見

• このサーベイはVOST手法を五つの主要カテゴリに階層化して提案している。
• unsupervised VOS、semi-supervised VOS、interactive VOS、weakly supervised VOS、segmentation-based trackingの各カテゴリ全体の技術的特徴について詳細に論じている。
• 関連するビデオデータセットの特徴とVOSTのさまざまな評価指標を要約している。
• 将来の研究方向とVOST研究を前進させるための潜在的な方向性を論じている。
• 本論文はVOSとVOTの関係を明確にし、 segmentation-based tracking が両タスクをどのように統合するかを論じている。