[論文レビュー] Blazingly Fast Video Object Segmentation with Pixel-Wise Metric Learning

Yuhua Chen, Jordi Pont-Tuset+2 more|arXiv (Cornell University)|Apr 9, 2018

Visual Attention and Saliency Detection参考文献 38被引用数 17

ひとこと要約

本論文は、動画オブジェクトセグメンテーションの高速化を図る新規手法を提案する。完全畳み込みネットワーク（FCN）を用い、変更された三重損失を用いてピクセル単位のメトリクス学習を実行する。同じオブジェクトに属するピクセルを学習空間内で近接させる一方で、他のピクセルは最近傍探索により分類することで、半教師あり設定では1フレームあたり275msで最先端の精度を達成し、インタラクティブな状況では1フレームあたり0.15クリックの最小限の入力で同等の性能を発揮する。

ABSTRACT

This paper tackles the problem of video object segmentation, given some user annotation which indicates the object of interest. The problem is formulated as pixel-wise retrieval in a learned embedding space: we embed pixels of the same object instance into the vicinity of each other, using a fully convolutional network trained by a modified triplet loss as the embedding model. Then the annotated pixels are set as reference and the rest of the pixels are classified using a nearest-neighbor approach. The proposed method supports different kinds of user input such as segmentation mask in the first frame (semi-supervised scenario), or a sparse set of clicked points (interactive scenario). In the semi-supervised scenario, we achieve results competitive with the state of the art but at a fraction of computation cost (275 milliseconds per frame). In the interactive scenario where the user is able to refine their input iteratively, the proposed method provides instant response to each input, and reaches comparable quality to competing methods with much less interaction.

研究の動機と目的

• インタラクティブおよび実世界の応用に向けた、リアルタイムかつ高精度な動画オブジェクトセグメンテーションの不足を解消すること。
• 従来の最先端手法が1フレームあたり数秒を要するなど、高い計算コストを克服すること。
• ユーザーが最小限の入力で反復的に結果を改善できる、効率的なインタラクティブセグメンテーションを可能にすること。
• 再トレーニングを必要とせず、クリック、スクラッチ、マスクなどの多様なユーザー入力を統合できる統一フレームワークの開発。
• ピクセル単位のリtrievalに学習された埋め込み空間を活用することで、最小限のユーザーインタラクションで高精度なセグメンテーションを達成すること。

提案手法

• 動画のピクセルをメトリクス埋め込み空間にマップする完全畳み込みネットワーク（FCN）を、動画オブジェクトセグメンテーションに特化した変更された三重損失を用いて学習する。
• 動画オブジェクトセグメンテーションをピクセル単位のリtrievalとして定式化する：アノテート済みピクセルをリファレンスポイントとし、他のすべてのピクセルは埋め込み空間内の最近傍探索により分類する。
• 埋め込み計算とユーザー入力を分離することで、複数のユーザーインタラクションにわたって事前に計算された埋め込みを再利用可能にする。
• クリック、マスク、スクラッチなどの多様なユーザー入力を、1つの統一された推論パイプライン内でサポートする。
• ロボットが模擬するユーザー研究を用いてインタラクティブ性能を評価し、誤分類されたピクセルに基づいた反復的改善を実施する。
• 各オブジェクトを埋め込み空間内の別々のリファレンスクラスタとして扱うことで、複数オブジェクトのシナリオにこの手法を拡張する。

実験結果

リサーチクエスチョン

• RQ1 メトリクス学習に基づくアプローチは、1秒未満の推論速度を維持しつつ、動画オブジェクトセグメンテーションで最先端の精度を達成できるか？
• RQ2 学習された埋め込み空間におけるピクセル単位のリtrievalは、半教師ありおよびインタラクティブな動画セグメンテーションにおいてどの程度有効か？
• RQ3 セグメンテーション品質を損なわずに、ユーザーのインタラクションをどの程度まで最小限にできるか？
• RQ4 特に真値ガイドラインが存在しない状況下でも、ユーザーが提供するクリックの選択にどれほど頑健か？
• RQ5 遮蔽や複雑な相互作用を伴う複数オブジェクト動画に対しても、この手法は効果的に一般化できるか？

主な発見

• 半教師あり設定では、1フレームあたり275msでDAVIS 2016で77.5%のJ&Fを達成し、速度と精度のトレードオフにおいて他の高速手法を上回る。
• インタラクティブなシナリオでは、1フレーム全体で10クリックのわずかな入力で74.5%のJ&Fを達成し、ユーザー入力の効率性を示している。
• 1フレームあたり0.15クリックの入力でJスコア75.5%を達成し、完全マスクによる最初のフレームアノテーションと同等の性能を発揮するが、ユーザー作業は著しく削減されている。
• 実ユーザーによる研究では、平均して1フレームあたり0.17クリックで77.7%のJスコアを達成でき、完全マスクアノテーションに比べて24秒でセグメンテーションが完了する一方、完全マスクでは3分以上を要する。
• 複数オブジェクト動画に対しても、DAVIS 2017で0.5クリック/フレームで競争力ある結果を達成し、ベースライン手法に比べて著しく効率的である。
• 繰り返しシミュレーションにおける性能のばらつきは低く（1クリック/フレームで0.1）、クリックポイントの選択に対して頑健であることが示された。