[論文レビュー] Video Object Segmentation using Tracked Object Proposals

Gilad Sharir, Eddie Smolyansky+1 more|arXiv (Cornell University)|Jul 20, 2017

Visual Attention and Saliency Detection参考文献 7被引用数 9

ひとこと要約

本論文では、1ショット学習されたアピアランスネットワークと意味的オブジェクト検出、時間的トラッキングを組み合わせることで、分類に依存しないビデオオブジェクトセグメンテーションの精度と耐障害性を向上させる半教師付き手法を提案する。トラッキングされたバウンディングボックスを用いてアピアランスベースのマスク内の連結成分をフィルタリングすることで、DAVIS-2017でSOTAを達成し、J_meanが80.1に達する。一方、ネットワークの深さと損失構造を簡略化することで、学習時間を10分の1に短縮した。

ABSTRACT

We present an approach to semi-supervised video object segmentation, in the context of the DAVIS 2017 challenge. Our approach combines category-based object detection, category-independent object appearance segmentation and temporal object tracking. We are motivated by the fact that the objects semantic category tends not to change throughout the video while its appearance and location can vary considerably. In order to capture the specific object appearance independent of its category, for each video we train a fully convolutional network using augmentations of the given annotated frame. We refine the appearance segmentation mask with the bounding boxes provided either by a semantic object detection network, when applicable, or by a previous frame prediction. By introducing a temporal continuity constraint on the detected boxes, we are able to improve the object segmentation mask of the appearance network and achieve competitive results on the DAVIS datasets.

研究の動機と目的

• 1ショットアピアランスネットワークのビデオオブジェクトセグメンテーションにおける限界、例えば類似物体による誤検出や外観変化に伴う性能低下を是正すること。
• 意味的オブジェクト検出と時間的トラッキングを補助的監視として統合することで、セグメンテーションの耐障害性を向上させること。
• 性能を損なわずに1ショットアピアランスネットワークの学習時間を短縮すること。
• 実世界のユーザーが撮影した動画に対して本手法を検証し、実用性を示すこと。

提案手法

• 1つのアノテート済みフレーム上でエンドツーエンドに学習される完全畳み込みアピアランスネットワークを、データオーグメンテーションを用いて簡略化されたアーキテクチャ（1つのサイド出力、1つの損失）で高速化して学習する。
• 意味的オブジェクト検出がバウンディングボックスを提供し、それを時間的にフレーム間でトラッキングすることで運動の一貫性を強制する。
• トラッキングされたバウンディングボックスの結果を用いて、アピアランスネットワークのセグメンテーションマスクを切り取り、連結成分をフィルタリングすることで精緻化する。
• トラッキングされた領域内にある連結成分を、アピアランスマスクとのオーバーラップに基づいて選別することで、局所化精度を向上させる。
• オブジェクトプロポーザルをフレーム間でトラッキングすることで時間的連続性を強制し、ドリフトを低減し、マスクの一貫性を向上させる。
• アピアランス、検出、トラッキングの信号をマルチステージパイプラインで統合する：アピアランス予測 → バウンディングボックスの精緻化 → 連結成分によるマスクのフィルタリング。

実験結果

リサーチクエスチョン

• RQ1 意味的オブジェクト検出は、カテゴリに依存しないビデオオブジェクトセグメンテーションの精度を向上させることができるか？
• RQ2 オブジェクトプロポーザルの時間的トラッキングは、フレーム間でのセグメンテーションの一貫性をどのように向上させるか？
• RQ3 1ショットアピアランスネットワークの学習時間を著しく短縮できるか、性能を損なわないか？
• RQ4 本手法は、複雑で多様なオブジェクト外観を示す実世界のユーザー撮影動画に対しても、一般化性能を示せるか？

主な発見

• 本手法は、DAVIS-2017の検証セットでJ_meanが80.1を達成し、ベースラインのOSVOS手法を上回った。
• DAVIS-2016データセットでは、OSVOSが50,000イテレーションを要するのに対し、本手法はたった4,000イテレーションでJ_meanが80.1に達した。
• アピアランスネットワークを1つのサイド出力と1つの損失レイヤーに簡略化することで、学習時間を10分の1に短縮した。
• 内部の150本のユーザー撮影動画からなるデータセットでは、J_meanが86.6に達し、実世界の条件への強い一般化性能を示した。
• 最初のフレームのアノテーションが不完全であっても、システムは依然として耐障害性を示し、インタラクティブな設定での実用性を示した。
• アブレーションスタディの結果、時間的トラッキングとバウンディングボックスのクリッピングが性能向上に顕著な寄与をしていることが確認され、フルパイプラインはDAVIS-2016で80.1のJ_meanを達成した。