[論文レビュー] YouTube-VOS: A Large-Scale Video Object Segmentation Benchmark

Ning Xu, Linjie Yang+5 more|arXiv (Cornell University)|Sep 6, 2018

Visual Attention and Saliency Detection参考文献 26被引用数 302

ひとこと要約

大規模な YouTube-VOS データセットを導入し、検証セットで複数の最先端手法をベンチマークしてベースラインを確立し、一般化を分析する。

ABSTRACT

Learning long-term spatial-temporal features are critical for many video analysis tasks. However, existing video segmentation methods predominantly rely on static image segmentation techniques, and methods capturing temporal dependency for segmentation have to depend on pretrained optical flow models, leading to suboptimal solutions for the problem. End-to-end sequential learning to explore spatialtemporal features for video segmentation is largely limited by the scale of available video segmentation datasets, i.e., even the largest video segmentation dataset only contains 90 short video clips. To solve this problem, we build a new large-scale video object segmentation dataset called YouTube Video Object Segmentation dataset (YouTube-VOS). Our dataset contains 4,453 YouTube video clips and 94 object categories. This is by far the largest video object segmentation dataset to our knowledge and has been released at http://youtube-vos.org. We further evaluate several existing state-of-the-art video object segmentation algorithms on this dataset which aims to establish baselines for the development of new algorithms in the future.

研究の動機と目的

• ビデオオブジェクト分割の長期的な空間-時間特徴のエンドツーエンド学習を動機づけるため、既存の小規模データセットの限界を克服する。
• YouTube の動画から大規模で多様なデータセットを作成し、シーケンシャルモデルの堅牢な訓練と評価を可能にする。
• 未知のカテゴリへの一般化を評価するベンチマークを提供し、将来の研究のためのベースライン性能を確立する。

提案手法

• YouTube の 94 カテゴリにわたる新規の大規模なビデオオブジェクト分割データセットを、5 フレームごと（6 fps サンプリング）密なアノテーションで作成する。
• スキップフレームアノテーション戦略を活用して、時間的一貫性を保ちながらアノテーションをスケールさせる。
• 一貫した設定の下で、YouTube-VOS の訓練/検証分割に対して複数の最先端ビデオオブジェクト分割手法を評価する。
• 見かけるカテゴリと unseen カテゴリの性能を分析して一般化を評価する。
• オンライン学習と長期的な時空モデリングが分割に与える効果について、ベースライン結果と洞察を提供する。

実験結果

リサーチクエスチョン

• RQ1 大規模な YouTube 起源データセットは、より小規模なベンチマークと比較して、ビデオオブジェクト分割モデルの訓練にどのような影響を与えるか？
• RQ2 見えるカテゴリと unseen カテゴリの間の性能ギャップはどの程度で、オンライン学習は一般化にどう影響するか？
• RQ3 長期的な空間-時間モデルは YouTube-VOS 上で静止画ベースのアプローチとどう比較されるか？
• RQ4 YouTube-VOS の検証セット上で、手法間の推論速度と精度のトレードオフはどうなるか？

主な発見

手法	J_seen	J_unseen	F_seen	F_unseen	総合	速度 (s/フレーム)
OSVOS [7]	59.8%	54.2%	60.5%	60.7%	58.8%	10
MaskTrack [8]	59.9%	45.0%	59.5%	47.9%	53.1%	12
OSMN [9]	60.0%	40.6%	60.1%	44.0%	51.2%	0.14
OnAVOS [35]	60.1%	46.6%	62.7%	51.4%	55.2%	13
S2S (w/o OL) [34]	66.7%	48.2%	65.5%	50.3%	57.6%	0.16
S2S (with OL) [34]	71.0%	55.5%	70.0%	61.2%	64.4%	9

• YouTube-VOS はこれまでで最大の VOS データセットで、4,453 本の動画と 197,272 のアノテーションが 94 個の物体カテゴリにまたがる。
• 時間的一貫性を持つシーケンス対シーケンスモデル（S2S）は、オンライン学習（OL）を用いるときに特に静的画像手法を上回る。
• DAVIS ベンチマークからの期待値と比較して、YouTube-VOS における顕著な外観変化と複雑な運動により OnAVOS は期待通りには性能を発揮しない。
• 未学習カテゴリではすべての手法が劣化するが、OSVOS は比較的小さな減衰を示し、大規模な画像事前学習の恩恵を示唆する。
• 推論速度を最適化した手法（OSMN、S2S w/o OL）は OL バリアントより精度は低いものの、リアルタイム性の潜在を提供する。