[論文レビュー] Learning Referring Video Object Segmentation from Weak Annotation

Wangbo Zhao, Kepan Nan+4 more|arXiv (Cornell University)|Aug 4, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

本稿は、参照動画オブジェクトセグメンテーション（RVOS）の弱教師付きアノテーション方式を提案し、ターゲットオブジェクトの最初の出現時に1つのマスクを、以降のフレームにはバウンディングボックスを用いることで、アノテーションコストを8倍削減する。この手法、言語誘導型クロスフレームセグメンテーションと二段階対照学習を組み合わせたSimRVOSは、完全教師あり手法と同等の性能を達成し、高品質なセグメンテーションが最小限の密なアノテーションで学習可能であることを示している。

ABSTRACT

Referring video object segmentation (RVOS) is a task that aims to segment the target object in all video frames based on a sentence describing the object. Although existing RVOS methods have achieved significant performance, they depend on densely-annotated datasets, which are expensive and time-consuming to obtain. In this paper, we propose a new annotation scheme that reduces the annotation effort by 8 times, while providing sufficient supervision for RVOS. Our scheme only requires a mask for the frame where the object first appears and bounding boxes for the rest of the frames. Based on this scheme, we develop a novel RVOS method that exploits weak annotations effectively. Specifically, we build a simple but effective baseline model, SimRVOS, for RVOS with weak annotation. Then, we design a cross frame segmentation module, which uses the language-guided dynamic filters from one frame to segment the target object in other frames to thoroughly leverage the valuable mask annotation and bounding boxes. Finally, we develop a bi-level contrastive learning method to enhance the pixel-level discriminative representation of the model with weak annotation. We conduct extensive experiments to show that our method achieves comparable or even superior performance to fully-supervised methods, without requiring dense mask annotations.

研究の動機と目的

• 参照動画オブジェクトセグメンテーション（RVOS）における密なマスクアノテーションの高コストを低減させつつ、高い性能を維持すること。
• 人間のアノテーション作業を最小限に抑えつつ、セグメンテーション精度を損なわない実用的で効率的なアノテーションスキームを設計すること。
• エンドツーエンドのRVOSに効果的に弱教師信号（特に、1フレームのマスクと複数フレームのバウンディングボックス）を活用する深層学習フレームワークを開発すること。
• 弱教師学習下で、新しい二段階対照学習戦略を用いてピクセルレベルの特徴の区別能を向上させること。

提案手法

• 新規アノテーションスキームを提案：ターゲットが最初に現れるフレームに1つのマスクを、以降のすべてのフレームにバウンディングボックスを用いることで、アノテーションコストを8倍削減。
• 言語と視覚の融合と言語誘導型ダイナミック畳み込みを用いる、シンプルだが効果的なベースラインモデルSimRVOSを導入。
• マスクとバウンディングボックスの両方の監視信号を活用し、1フレームから他のフレームに動的フィルタを転送する言語誘導型クロスフレームセグメンテーション（LGCFS）モジュールを設計。
• 二段階対照学習（BLCL）法を提案し、(a) 言語と視覚の特徴を対応付ける言語-視覚対照、および (b) フレーム間で一貫性を高める対照の2つの構成要素を含む。
• LGCFSモジュールを用いてマスクの監視信号をフレーム間で伝搬させつつ、バウンディングボックスを補助的監視信号として用いることで、外見の変化に強い一般化性能を向上。
• エンドツーエンドで弱いアノテーションを用いてモデルを学習し、密なピクセルレベルのアノテーションを一切不要とすることで、優れた性能を達成。

実験結果

リサーチクエスチョン

• RQ1 1フレームのマスクと全フレームのバウンディングボックスのみを用いて、密なマスクアノテーションに代えて、参照動画オブジェクトセグメンテーションモデルが競争力のある性能を達成できるか？
• RQ2 弱教師学習下で、最初のフレームからの貴重なマスク監視信号を、すべての動画フレームに効果的に転送・活用できるか？
• RQ3 弱いアノテーションしか利用できない状況下で、二段階対照学習がピクセルレベルの特徴の区別能をどの程度向上できるか？
• RQ4 密なアノテーションを一切必要としない弱教師学習RVOSフレームワークが、完全教師あり手法を上回るか、同等の性能を達成できるか？

主な発見

• 提案された弱アノテーションスキームは、YouTube-RVOSで検証された結果、完全な密アノテーションに比べてアノテーションコストを8倍削減した。
• JHMDB-Sentencesベンチマークでは、平均IoUが62.7を達成し、弱教師学習下でLBDT や MTTR といった完全教師あり手法を上回った。
• 提案されたLGCFSおよびBLCLモジュールを備えたSimRVOSは、JHMDB-Sentencesセットで65.8%のmAPを達成し、完全教師ありのLBDT手法（65.8% mAP）を上回り、ReferFormer（69.3% mAP）と同等の全体的な性能を示した。
• 二段階対照学習法は、複数のベンチマークでIoUおよびP@0.5からP@0.9の指標に一貫した向上を示しており、特徴の区別能が顕著に向上したことが裏付けられた。
• LGCFSモジュールにより、マスクの伝搬が効果的に実現され、バウンディングボックスのみを用いる場合よりも正確な予測が得られたことが、定性的な比較で示された。
• 本手法はデータセット間で良好に一般化され、微調整なしにJHMDB-Sentencesで強力なゼロショット性能を達成しており、ドメインシフトに対して高いロバスト性を示した。