[論文レビュー] FEELVOS: Fast End-to-End Embedding Learning for Video Object Segmentation

Paul Voigtlaender, Yuning Chai+4 more|arXiv (Cornell University)|Feb 25, 2019

Visual Attention and Saliency Detection参考文献 36被引用数 27

ひとこと要約

FEELVOSは、最初のフレームの微調整を必要とせず、画素単位の埋め込みを学習する高速でエンド・ツー・エンドの動画オブジェクトセグメンテーション手法を提案する。動的セグメンテーションヘッドの内部ガイドとして、最初のフレームに対するグローバルマッチングと、直前のフレームに対するローカルマッチングを用いる。これにより、DAVIS 2017の検証セットで71.5%のJ&Fという新たなSOTAを達成し、リアルタイムの推論速度を実現した。

ABSTRACT

Many of the recent successful methods for video object segmentation (VOS) are overly complicated, heavily rely on fine-tuning on the first frame, and/or are slow, and are hence of limited practical use. In this work, we propose FEELVOS as a simple and fast method which does not rely on fine-tuning. In order to segment a video, for each frame FEELVOS uses a semantic pixel-wise embedding together with a global and a local matching mechanism to transfer information from the first frame and from the previous frame of the video to the current frame. In contrast to previous work, our embedding is only used as an internal guidance of a convolutional network. Our novel dynamic segmentation head allows us to train the network, including the embedding, end-to-end for the multiple object segmentation task with a cross entropy loss. We achieve a new state of the art in video object segmentation without fine-tuning with a J&F measure of 71.5% on the DAVIS 2017 validation set. We make our code and models available at https://github.com/tensorflow/models/tree/master/research/feelvos.

研究の動機と目的

• 既存の動画オブジェクトセグメンテーション（VOS）手法が直面する実用的制限、すなわち処理が遅い、最初のフレームの微調整を必要とすること、または極めて複雑であるという点を解決する。
• シンプルで高速かつエンド・ツー・エンドでトレーニング可能なVOS手法を開発し、優れた性能を達成すること。
• 微調整の必要を排除し、推論の複雑さを低減することで、リアルタイムでのデプロイメントを可能にすること。
• タスク固有の適応なしに、複数のオブジェクトや多様な動画シーケンスに一般化しやすい手法を設計すること。

提案手法

• クロスエントロピー損失を用いて、セマンティックな画素単位の埋め込みとセグメンテーションマスクを同時に学習する単一段階のエンド・ツー・エンドでトレーニング可能なネットワークを提案する。
• 現在のフレームの埋め込みと最初のフレームの埋め込みの間のグローバルマッチングを用いて、長距離のコンテキストを伝達する。
• 空間的ウィンドウ内での現在のフレームと直前のフレームの埋め込みの間のローカルマッチングを適用し、時間的整合性を保つ。
• バックボーン特徴量と直前のフレームの予測結果を組み合わせたグローバルおよびローカルの距離マップを、動的セグメンテーションヘッドに統合する。
• 入力特徴に基づいてカーネルを動的に変更する動的畳み込みヘッドを採用し、複数のソースからのヒントを効果的に統合できるようにする。
• 微調整なしに、セグメンテーションマスクの標準的监督のみを用いて、システム全体をエンド・ツー・エンドでトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 最初のフレームの微調整に依存せずに、SOTAの性能を達成できる動画オブジェクトセグメンテーションモデルは構築可能か？
• RQ2 最終予測のためではなく、セグメンテーションの内部ガイドとして、埋め込みベースのマッチング（最初のフレームへのグローバルマッチング、直前のフレームへのローカルマッチング）はどの程度有効か？
• RQ3 最初のフレームへのグローバルマッチング、直前のフレームへのローカルマッチング、直前のフレームの予測の各要素が、セグメンテーション精度の向上に果たす相対的寄与度は何か？
• RQ4 シンプルな単一ネットワークアーキテクチャが、複雑なマルチネットワークパイプラインを上回り、リアルタイムの推論速度を維持できるか？

主な発見

• FEELVOSは、最初のフレームの微調整を一切行わず、DAVIS 2017の検証セットで71.5%のJ&Fという新たなSOTAスコアを達成した。
• アブレーションスタディの結果、直前のフレームへのローカルマッチングを無効化すると性能が約5%低下し、時間的整合性を保つ上でその重要性が示された。
• 直前のフレームのマッチングと予測を両方とも削除すると性能は52.6%まで低下し、時間的伝搬メカニズムの重要性が裏付けられた。
• ローカルマッチングがグローバルマッチングよりも顕著に効果的であることが、ローカルマッチングをグローバルマッチングに置き換えた場合に4.9%の性能低下が生じたことで示された。
• 最初のフレームへのグローバルマッチングは、直前のフレームへのマッチングを初期化するためにのみ使用しても、J&Fスコアが13%低下するほど、性能に大きく寄与していることが判明した。
• 最初のフレームへのグローバルマッチング、直前のフレームへのローカルマッチング、直前のフレームの予測の組み合わせが最良の結果をもたらし、それらが補完的であることを確認した。