[論文レビュー] Learning Video Object Segmentation with Visual Memory

Pavel Tokmakov, Karteek Alahari+1 more|arXiv (Cornell University)|Apr 19, 2017

Video Surveillance and Tracking Methods参考文献 34被引用数 46

ひとこと要約

本論文では、手動でアノテートされたフレームを必要とせずに、動画オブジェクトセグメンテーションのための視覚的記憶を学習するため、畳み込みゲート付き再帰ユニット（ConvGRU）メモリモジュールを備えた2ストリームニューラルネットワークを提案する。双方向の空間的・時間的モデリングによる外観と動きの特徴の統合により、DAVISベンチマークで先行手法よりも約6%優れた最先端の性能を達成した。

ABSTRACT

This paper addresses the task of segmenting moving objects in unconstrained videos. We introduce a novel two-stream neural network with an explicit memory module to achieve this. The two streams of the network encode spatial and temporal features in a video sequence respectively, while the memory module captures the evolution of objects over time. The module to build a "visual memory" in video, i.e., a joint representation of all the video frames, is realized with a convolutional recurrent unit learned from a small number of training video sequences. Given a video frame as input, our approach assigns each pixel an object or background label based on the learned spatio-temporal features as well as the "visual memory" specific to the video, acquired automatically without any manually-annotated frames. The visual memory is implemented with convolutional gated recurrent units, which allows to propagate spatial information over time. We evaluate our method extensively on two benchmarks, DAVIS and Freiburg-Berkeley motion segmentation datasets, and show state-of-the-art results. For example, our approach outperforms the top method on the DAVIS dataset by nearly 6%. We also provide an extensive ablative analysis to investigate the influence of each component in the proposed framework.

研究の動機と目的

• 手動でアノテートされたフレームに依存せずに、制約のない動画における動画オブジェクトセグメンテーションの課題に対処すること。
• 光流やフレーム固有の監視に依存する従来の深層学習手法の限界を克服すること。
• 長期間にわたるオブジェクトの変化を捉え、オブジェクトの停止や再開といった動的な動きの変化に対処できる記憶メカニズムを開発すること。
• オクルージョンや外観の変化を伴う複雑なシーンでも、空間的・時間的統合モデリングによりセグメンテーションのロバスト性を向上させること。
• 最小限の監視でエンドツーエンドの学習が可能な状態で、標準ベンチマークで最先端の性能を達成すること。

提案手法

• 事前学習済みのDeepLabネットワークを用いて個々のフレームから外観特徴を抽出する1つのストリームを採用する。
• フレームペア間の光流に基づいて、事前学習済みの動き予測ネットワークを用いて動きの手がかりを計算する2番目のストリームを採用する。
• 両ストリームを双方向の畳み込みゲート付き再帰ユニット（ConvGRU）に統合し、時間経過に伴うオブジェクトの変化を記録する視覚的記憶を構築する。
• ConvGRUは、リセットゲートとアップデートゲートを用いて、過去のフレームからの情報フローを制御することで、統合された空間的・時間的表現を維持する。
• 時間的順方向と逆方向の両方で動画シーケンスを処理することで、文脈モデリングを強化し、セグメンテーションの正確性を向上させる。
• テスト時にのみ動画フレームと正解セグメンテーションを用いて、手動でのフレームアノテーションを一切必要としないエンドツーエンドの学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 手動でのフレームアノテーションが存在しない状況下で、学習可能な視覚的記憶メカニズムは動画オブジェクトセグメンテーションの性能向上に寄与するか？
• RQ2 双方向のConvGRUは、長距離の時間的依存関係やオブジェクトの動きの変化をどの程度効果的にモデリングできるか？
• RQ3 外観特徴と動き特徴は、セグメンテーションのロバスト性向上にどの程度相補的に機能するか？
• RQ4 DAVIS や FBMS のような標準ベンチマークにおいて、提案手法は最先端のアプローチと比較してどの程度優れているか？
• RQ5 各コンポーネント（外観ストリーム、動きストリーム、メモリモジュール）が最終的なセグメンテーション性能にどの程度寄与しているか？

主な発見

• 提案手法は、DAVIS 2017ベンチマークでトップパフォーマンスを示した手法よりも6%の向上を達成し、新たな最先端の結果を樹立した。
• FBMSデータセットでは、比較手法の中で最高の精度とF-measureを達成したが、長期間静止するシーケンスの処理に課題があるため、再現率はわずかに低かった。
• SegTrack-v2では、平均IoUが57.3を達成し、CUT や FST を上回り、NLCですら特にSegTrackに最適化されているにもかかわらず、DAVISでのNLCより20.8%も優れていた。
• アブレーションスタディの結果、外観ストリームと動きストリームの両方が性能向上に顕著に寄与しており、双方向のメモリ機構がセグメンテーションの正確性を向上させていることが確認された。
• ConvGRUゲートの可視化により、異なるメモリチャネルが動き、外観、境界情報の処理に特化していることが示され、特徴選択の適応性が裏付けられた。
• 時間的ギャップにわたってもオブジェクトの同一性を保持する持続的な視覚的記憶のおかげで、オブジェクトの停止や再開といった動きの変化に対しても効果的に対処できた。