[論文レビュー] Learning Position and Target Consistency for Memory-based Video Object Segmentation

Li Hu, Peng Zhang+4 more|arXiv (Cornell University)|Apr 9, 2021

Visual Attention and Saliency Detection被引用数 5

ひとこと要約

本論文は、位置一貫性を位置ガイドモジュール（PGM）を用いて学習し、対象一貫性をオブジェクト関係モジュール（ORM）を用いて学習することで性能を向上させる、新しいメモリベースの半教師付き動画オブジェクトセグメンテーションフレームワークであるLCMを提案する。空間的・時間的トラジェクトリの認識とオブジェクトレベルの特徴一貫性を統合することで、DAVISおよびYoutube-VOSで最先端の結果を達成し、DAVIS 2020半教師付きVOSチャレンジで1位となり、DAVIS-2016で90.7%の平均Fスコアを達成した。

ABSTRACT

This paper studies the problem of semi-supervised video object segmentation(VOS). Multiple works have shown that memory-based approaches can be effective for video object segmentation. They are mostly based on pixel-level matching, both spatially and temporally. The main shortcoming of memory-based approaches is that they do not take into account the sequential order among frames and do not exploit object-level knowledge from the target. To address this limitation, we propose to Learn position and target Consistency framework for Memory-based video object segmentation, termed as LCM. It applies the memory mechanism to retrieve pixels globally, and meanwhile learns position consistency for more reliable segmentation. The learned location response promotes a better discrimination between target and distractors. Besides, LCM introduces an object-level relationship from the target to maintain target consistency, making LCM more robust to error drifting. Experiments show that our LCM achieves state-of-the-art performance on both DAVIS and Youtube-VOS benchmark. And we rank the 1st in the DAVIS 2020 challenge semi-supervised VOS task.

研究の動機と目的

• ピクセルレベルの類似度に依存するメモリベースのVOS手法が、外観の変化、隠蔽、不要なオブジェクトの影響を受けるという限界を是正する。
• 動画全体にわたりオブジェクトレベルの一貫性を強制することで、誤差の累積を低減し、耐障害性を向上させる。
• 空間的・時間的運動トラジェクトリを活用し、位置一貫性モデリングによってより信頼性の高いセグメンテーションを実現する。
• グローバルメモリ検索とローカル位置およびオブジェクトに特化したコンテキスト統合を統合し、分類能を向上させる。
• 推論速度を損なわずに、標準的なVOSベンチマークで最先端の性能を達成する。

提案手法

• LCMは、STMフレームワークに基づくグローバルリtrievalモジュール（GRM）を採用し、空間的・時間的メモリ上で密なピクセルレベルの特徴マッチングを実行する。
• 位置ガイドモジュール（PGM）は、運動トラジェクトリの事前知識をモデル化することで、位置一貫性を促進する位置応答マップを学習する。
• オブジェクト関係モジュール（ORM）は、最初のフレームのマスクからオブジェクトレベルの関係を符号化し、フレーム間での対象一貫性を維持する。
• PGMとORMはメモリ機構に統合され、注意マップを精緻化し、類似した外観の不要なオブジェクトからの誤検出を抑制する。
• 三段階の訓練戦略を採用する：ImageNetでの事前学習、時間的制限を考慮した訓練、および動画シーケンスにおけるエンド・トゥ・エンドのファインチューニング。
• 推論は効率的で、1つのP100 GPU上でSTMに比べて実行時間は6%しか増加しない。

実験結果

リサーチクエスチョン

• RQ1 運動トラジェクトリのモデリングによる位置一貫性の学習が、メモリベースのVOSにおけるセグメンテーション精度を向上させるか？
• RQ2 オブジェクトレベルの特徴関係の学習が、長時間の動画シーケンスにおける対象一貫性を向上させ、誤差の累積を低減できるか？
• RQ3 ピクセルレベルのマッチングに加え、位置およびオブジェクトに特化したコンテキストを統合することで、標準ベンチマークで最先端の性能が達成できるか？
• RQ4 提案されたフレームワークは、既存のメモリベースおよび伝搬ベースの手法と比較して、精度と推論速度の両面で優れているか？
• RQ5 各コンポonent（PGM、ORM、GRM）の全体的性能への寄与度は何か？また、訓練戦略の違いが結果に与える影響は？

主な発見

• LCMはDAVIS-2016の検証セットで90.7%の平均Fスコアを達成し、以前の最先端手法KMN（90.5%）およびSTM（89.3%）を上回った。
• DAVIS-2017の検証セットでは、事前学習なしで79.2%の平均Jaccardインデックスを達成し、優れた一般化性能を示した。
• 除去実験では、PGMを無効化すると性能が77.8%に低下し、ORMを無効化すると78.4%に低下し、両者の重要性が確認された。
• GRMは基盤的役割を果たしており、これを削除すると性能は67.5%にまで低下し、メモリベースのリtrievalに不可欠であることが示された。
• 三段階の訓練戦略が最良の性能（平均83.5%）をもたらし、時間的シーケンス学習を飛ばす戦略よりも優れた結果を出した。
• 定性的な結果から、LCMは隠蔽、外観変化、類似オブジェクトの混同に対し、STMよりもより頑健であることが示された。