[論文レビュー] The 2018 DAVIS Challenge on Video Object Segmentation

Sergi Caelles, Alberto Montes+5 more|arXiv (Cornell University)|Mar 1, 2018

Visual Attention and Saliency Detection参考文献 13被引用数 254

ひとこと要約

論文は、半教師付きのメイントラックと新しいインタラクティブセグメンテーションのテザートラックを備えた2018 DAVIS Challengeを紹介し、インタラクティブなベースラインと評価のためのシミュレートされた scribble フレームワークを提供する。

ABSTRACT

We present the 2018 DAVIS Challenge on Video Object Segmentation, a public competition specifically designed for the task of video object segmentation. It builds upon the DAVIS 2017 dataset, which was presented in the previous edition of the DAVIS Challenge, and added 100 videos with multiple objects per sequence to the original DAVIS 2016 dataset. Motivated by the analysis of the results of the 2017 edition, the main track of the competition will be the same than in the previous edition (segmentation given the full mask of the objects in the first frame -- semi-supervised scenario). This edition, however, also adds an interactive segmentation teaser track, where the participants will interact with a web service simulating the input of a human that provides scribbles to iteratively improve the result.

研究の動機と目的

• 2017年のDAVISデータセット拡張に基づくビデオオブジェクトセグメンテーションの公開ベンチマークを動機づけ、組織する。
• 最初のフレームのマスクを使用して以降のすべてのフレームをセグメント化する半教師付きメイントラックを提供する。
• 効率と品質のトレードオフを研究するための、シミュレーテッド・ヒューマンインザループを用いたインタラクティブセグメンテーションのテザートラックを導入する。
• 現実的なユーザーをループさせたセグメンテーション研究を促進する評価指標とベースラインを提案する。

提案手法

• より豊かな評価のため、1シークエンスあたり複数オブジェクトを含む100本の動画を追加してDAVIS 2017データセットを拡張する。
• 最初のフレームのマスクを用いる半教師付きメイントラックを維持しつつ、ウェブサービスを介して評価されるインタラクティブセグメンテーションパイプラインを追加する。
• テスト注釈を非公開のままにしつつ、スケーラブルなインタラクティブ評価を可能にするため、自動ロボットを介して人間の scribbles をシミュレートする。
• 2つのインタラクティブベースラインを提案する：Scribble-OSVOS（scribble由来ラベルでファインチューニング）とScribble-Linear（CNN埋め込みと線形分類器）。
• J&Fを指標として、品質トラックと速度トラック全体で対話時間とセグメンテーション品質のトレードオフを評価する。

実験結果

リサーチクエスチョン

• RQ1 対話的でscribbleベースの監視は、品質対時間の観点で従来の半教師付きアプローチとどのように比較されるか？
• RQ2 シミュレートされたscribblesは、インタラクティブなビデオオブジェクトセグメンテーションのベースラインにおけるヒューマンインザループの性能を信頼できるように予測できるか？
• RQ3 scribble監視を用いてアプローチされたベースラインは、ラベリング労力を削減して完全に教師ありの性能に到達できるか？

主な発見

• scribble-OSVOSはscribble監視を用いて完全監視の下で1200秒で57% J&Fに達し、完全監視ベースラインよりも短い時間で高い性能を示す。
• scribble-OSVOS（scribbles使用）は、DAVIS 2017の検証セットで110秒で39.26% J&Fを達成し、長い再学習時間を回避する。
• シミュレートされたscribbleジェネレータは、ベースラインのための手作業描画scribbleと同様の結論を生み出し、スケーラブルなインタラクティブ評価に有用であることを裏付ける。
• より速いScribble-LinearベースラインはScribble-OSVOSと同等の傾向を示し、埋め込みベースのインタラクティブアプローチの実現性を示唆する。
• 実験は、対話的方法が大幅なラベリング時間を削減しつつ完全に教師ありの性能に到達するか、それに近づくことができることを示している。