[論文レビュー] A Transductive Approach for Video Object Segmentation

Yizhuo Zhang, Zhirong Wu+2 more|arXiv (Cornell University)|Apr 15, 2020

Advanced Neural Network Applications参考文献 47被引用数 7

ひとこと要約

本論文は、外部モジュール、データセット、アーキテクチャの変更に依存せずに、空間時間的埋め込み空間におけるラベル伝播を用いた、単純で高速で効果的な帰納的アプローチを、半教師付き動画オブジェクトセグメンテーションのために提案する。DAVIS 2017の検証セットで72.3%、テストセットで63.1%を達成し、今後の研究の強力で効率的なベースラインとなる。

ABSTRACT

Semi-supervised video object segmentation aims to separate a target object from a video sequence, given the mask in the first frame. Most of current prevailing methods utilize information from additional modules trained in other domains like optical flow and instance segmentation, and as a result they do not compete with other methods on common ground. To address this issue, we propose a simple yet strong transductive method, in which additional modules, datasets, and dedicated architectural designs are not needed. Our method takes a label propagation approach where pixel labels are passed forward based on feature similarity in an embedding space. Different from other propagation methods, ours diffuses temporal information in a holistic manner which take accounts of long-term object appearance. In addition, our method requires few additional computational overhead, and runs at a fast $\sim$37 fps speed. Our single model with a vanilla ResNet50 backbone achieves an overall score of 72.3 on the DAVIS 2017 validation set and 63.1 on the test set. This simple yet high performing and efficient method can serve as a solid baseline that facilitates future research. Code and models are available at \url{https://github.com/microsoft/transductive-vos.pytorch}.

研究の動機と目的

• 光学フローまたはインスタンスセグメンテーションなどの外部モジュールに依存せずに、半教師付き動画オブジェクトセグメンテーションの課題に対処すること。
• 空間時間的ボリューム内の長期的な時間的依存関係とラベルなし構造を活用して、セグメンテーションの整合性を向上させること。
• 高い効率性と競争力ある性能を両立させ、今後の研究の強力なベースラインを提供すること。
• 明示的なトラッキングやスムージングモジュールなしで、変形や隠蔽に対しても時間的安定性と頑健性を確保すること。

提案手法

• 本手法は、学習された埋め込み空間における特徴類似度に基づいて画素間の類似度を計算し、空間時間的グラフ上でラベル伝播を実行する。
• 局所的依存関係は空間的および運動的プライオリティでモデル化し、大域的依存関係は事前学習済みのResNet-50からの外観特徴でモデル化する。
• 時間的拡散は、最初のフレームから現在のフレームまでを一括して実行し、最近の履歴には密なサンプリング、遠い履歴には疎なサンプリングを適用する。
• 推論は、バックボーンを通過する一回の順伝播と、キャッシュされた履歴埋め込みとのドット積計算のみで実行され、1フレームあたり定数時間の計算量となる。
• 本手法はエンド・ツー・エンドで訓練され、追加のデータセット、事前学習、または標準的なResNet-50を超えたアーキテクチャの変更は不要である。
• 学習された類似度に基づく光学フローに空間的スムージング制約を適用したが、セグメンテーション性能が低下することが判明した。

実験結果

リサーチクエスチョン

• RQ1 外部モジュールに依存しない単純な帰納的手法としてのラベル伝播が、動画オブジェクトセグメンテーションで競争力ある性能を達成できるか？
• RQ2 空間時間的ボリューム内で、全体的な長期的時間的依存関係をどれほど効果的に活用できるか？
• RQ3 このような手法は、時間的整合性と隠蔽に対する頑健性を維持しながら、高い推論速度を達成できるか？
• RQ4 明示的な光学フローの教師信号なしで、モデルがどれほど暗黙的に動きの手がかりを学習できるか？

主な発見

• 本手法は、DAVIS 2017の検証セットで72.3%の全体スコア、テストセットで63.1%を達成し、外部モジュールを一切使用しない多くの先行手法を上回った。
• 1枚のTitan Xp GPUで37 fpsで動作し、競争力ある精度を維持しながらも、大多数の最先端手法よりも顕著に高速であった。
• YouTube-VOSの検証セットでは67.8%の全体スコアを達成し、STMを除くすべての先行手法を上回った。
• 本手法は優れた時間的安定性を示し、頻繁にIDが入れ替わるPreMVOSのような手法とは異なり、フレーム間で一貫した予測を出力した。
• 学習された類似度に基づく光学フローは物体領域では整合性があるが、背景ではノイジーであり、明示的なスムージング制約を追加するとセグメンテーション性能が低下した。
• DAVISからYouTube-VOSへの転移学習で67.4%の全体スコアを達成し、微調整なしで強力な一般化能力を示した。