[論文レビュー] MaskRNN: Instance Level Video Object Segmentation

Yuan-Ting Hu, Jia‐Bin Huang+1 more|arXiv (Cornell University)|Mar 29, 2018

Visual Attention and Saliency Detection参考文献 46被引用数 12

ひとこと要約

MaskRNNは、再帰的アーキテクチャを用いて二値セグメンテーションマスクとバウンディングボックス予測を統合することで、長期間にわたる時間的整合性と空間的局在化を活用する、インスタンスレベルの動画オブジェクトセグメンテーションのための再帰ニューラルネットワークフレームワークを提案する。RNNによる時系列モデリングと位置情報の事前知識を統合することで、DAVIS-2016、DAVIS-2017、SegTrack v2で最先端の性能を達成し、従来手法よりも最大5.6%の向上を達成した。

ABSTRACT

Instance level video object segmentation is an important technique for video editing and compression. To capture the temporal coherence, in this paper, we develop MaskRNN, a recurrent neural net approach which fuses in each frame the output of two deep nets for each object instance -- a binary segmentation net providing a mask and a localization net providing a bounding box. Due to the recurrent component and the localization component, our method is able to take advantage of long-term temporal structures of the video data as well as rejecting outliers. We validate the proposed algorithm on three challenging benchmark datasets, the DAVIS-2016 dataset, the DAVIS-2017 dataset, and the Segtrack v2 dataset, achieving state-of-the-art performance on all of them.

研究の動機と目的

• 複雑なシーンにおけるオクルージョン、高速移動、外観変化を伴うインスタンスレベルの動画オブジェクトセグメンテーションの課題に対処すること。
• 短いフレーム間伝搬を超えた長期間の依存関係をモデル化することで、動画セグメンテーションにおける時間的整合性を向上させること。
• マスク予測に加えてバウンディングボックスの局在化を空間的事前知識として統合することで、セグメンテーションの正確性を向上させること。
• セグメンテーションと局在化ネットワークの共同最適化により、ごみだらけの背景やオブジェクトの変形に対して頑健な手法を開発すること。

提案手法

• MaskRNNは、動画フレーム間の長期間の時間的依存関係をモデル化するため、再帰的ニューラルネットワーク（RNN）を用いる。これにより、時間的に一貫したマスク予測が可能になる。
• フレームワークは、1オブジェクトあたり2つのディープネットワークを組み合わせる：予測されたバウンディングボックス内でのインスタンスマスクを予測する二値セグメンテーションネットワークと、オブジェクトのバウンディングボックスを回帰する局在化ネットワーク。
• RNNは過去のフレームからの特徴を統合して現在の予測を改善し、時間的整合性を高め、ドリフトを低減する。
• バウンディングボックスがマスク予測の空間的事前知識として機能し、マスク予測の制約を強め、耐性を向上させる。共同学習戦略により、セグメンテーションと局在化の両ブランチが最適化される。
• 光流を用いてマスクと特徴をフレーム間でワープすることで、動きのモデリングを強化し、セグメンテーションネットワークの入力品質を向上させる。
• 後処理を最小限に抑えるためにエンド・ツー・エンドの学習が行われ、従来手法とは異なり、密度付きCRFや境界スナッピングは不要である。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、動画オブジェクトセグメンテーションにおける長期間の時間的依存関係を効果的にモデル化でき、フレーム間の一貫性を向上させることができるか？
• RQ2 バウンディングボックスの局在化事前知識を統合することで、複雑なシーンにおけるインスタンスレベルセグメンテーションの正確性と耐性はどのように向上するか？
• RQ3 セグメンテーションと局在化ネットワークの共同最適化は、フレーム単位または短い期間の伝搬手法を上回る程度に性能を向上させるか？
• RQ4 MaskRNNは、オクルージョン、高速移動、外観変化を伴う困難なベンチマークにおいて、最先端の手法と比較してどのように性能を発揮するか？

主な発見

• DAVIS-2016データセットでは、次に優れた半教師あり手法よりも平均交差率（mIoU）が0.6%高い結果を達成し、前景・背景分離の優れた性能を示した。
• DAVIS-2017では、インスタンスレベルの動画オブジェクトセグメンテーションにおいて、最先端の手法よりもmIoUで5.6%高い性能を達成し、マルチオブジェクトトラッキングにおいて強力な性能を示した。
• SegTrack v2データセットでは、最高の先行手法よりもmIoUで4.6%の向上を達成し、多様で困難なシーケンスにおいてもその頑健性を確認した。
• バウンディングボックスの局在化とRNNベースの時間的モデリングの統合により、オクルージョンを伴う長時間の動画においてもセグメンテーションのドリフトが低減され、整合性が向上した。
• 失敗事例の主な原因は、視覚的に類似したオブジェクトや大規模な視点・スケールの変化であり、このような条件下では外観ベースのトラッキングに限界があることが示された。
• 密度付きCRFや境界スナッピングなどの後処理技術に依存せず、最先端の結果を達成した。これは、エンド・ツー・エンドの汎化性能が優れていることを示している。