[論文レビュー] Collaborative Video Object Segmentation by Multi-Scale Foreground-Background Integration

Zongxin Yang, Yunchao Wei+1 more|arXiv (Cornell University)|Oct 13, 2020

Visual Attention and Saliency Detection参考文献 49被引用数 8

ひとこと要約

本稿では、多スケールの対照的統合を通じて、前景と背景の特徴埋め込みを共同で学習することにより性能を向上させる、新しい半教師付き動画オブジェクトセグメンテーションフレームワークCFBI+を提案する。ピクセル単位とインスタンス単位のマッチングを効率的なアトロスマッチング戦略と組み合わせることで、事前学習や微調整なしにDAVIS 2017で82.9%、YouTube-VOSで82.8%の最先端の結果を達成した。

ABSTRACT

This paper investigates the principles of embedding learning to tackle the challenging semi-supervised video object segmentation. Unlike previous practices that focus on exploring the embedding learning of foreground object (s), we consider background should be equally treated. Thus, we propose a Collaborative video object segmentation by Foreground-Background Integration (CFBI) approach. CFBI separates the feature embedding into the foreground object region and its corresponding background region, implicitly promoting them to be more contrastive and improving the segmentation results accordingly. Moreover, CFBI performs both pixel-level matching processes and instance-level attention mechanisms between the reference and the predicted sequence, making CFBI robust to various object scales. Based on CFBI, we introduce a multi-scale matching structure and propose an Atrous Matching strategy, resulting in a more robust and efficient framework, CFBI+. We conduct extensive experiments on two popular benchmarks, i.e., DAVIS and YouTube-VOS. Without applying any simulated data for pre-training, our CFBI+ achieves the performance (J&F) of 82.9% and 82.8%, outperforming all the other state-of-the-art methods. Code: https://github.com/z-x-yang/CFBI.

研究の動機と目的

• 類似した背景オブジェクトが前景予測を誤導する、動画オブジェクトセグメンテーションにおける背景の混同問題に対処すること。
• 前景と背景の埋め込みを同等に扱う協調学習フレームワークを提案し、特徴の対照性を向上させること。
• ピクセル単位とインスタンス単位のマッチング機構を統合することで、変動するオブジェクトスケールに対する耐性を高めること。
• 性能を損なわずに計算量とメモリ使用量を削減するアトロスマッチング戦略により、推論効率とメモリ使用効率を向上させること。
• モデルが背景特徴に偏らないようにするため、バランスの取れたランダムクロップ訓練方式を開発すること。

提案手法

• 前景と背景領域の特徴埋め込みを分離し、それらの間の対照的学習を促進する。
• 複数の受容野サイズでのピクセル単位マッチングを実行する多スケールマッチング構造を導入する。
• グローバルな文脈を用いて大規模オブジェクトのセグメンテーションをガイドするインスタンスレベルの注目メカニズムを適用する。
• 穴あき畳み込みを用いてマッチング処理における計算量とメモリ使用量を削減するアトロスマッチング（AM）戦略を設計する。
• 直前のフレームからの予測マスクを順次監視として用いる訓練スキームを実装し、時間的整合性を向上させる。
• 訓練中にバランスの取れたランダムクロップ戦略を実装し、前景と背景領域の等価な表現を確保し、バイアスを低減する。

実験結果

リサーチクエスチョン

• RQ1 前景と背景の埋め込みを共同で学習することで、半教師付き動画オブジェクトセグメンテーションの精度が向上するか？
• RQ2 多スケールのピクセル単位とインスタンス単位のマッチング統合は、オブジェクトスケールの変動に対する耐性をどのように向上させるか？
• RQ3 アトロスマッチング戦略は、性能を劣化させることなく、どの程度効率を向上させるか？
• RQ4 バランスの取れたランダムクロップ訓練戦略は、背景特徴へのモデルバイアスを効果的に低減するか？
• RQ5 協調的前景・背景統合は、類似したオブジェクトが存在するシーンにおける背景の混同問題を緩和できるか？

主な発見

• CFBI+は、事前学習や微調整なしに、DAVIS 2017で82.9%の平均IoU、YouTube-VOSで82.8%のF-measureを達成し、最先端の性能を実現した。
• アブレーションスタディの結果、マルチローカルマッチング（単一ローカル対比）は1.1%の向上（74.9% vs. 73.8%）を示し、そのロバスト性を裏付けた。
• 協調エンセンブルを動的セグメンテーションヘッドに置き換えると性能が1.6%低下し、提案された統合メカニズムの優位性を証明した。
• バランスの取れたランダムクロップを用いることで、標準的なランダムクロップ対比で72.8%から74.9%に精度が2.1%向上し、背景バイアス低減の有効性を検証した。
• インスタンスレベルの注目を無効化すると性能は72.7%に低下し、ピクセル単位の特徴と組み合わせてセグメンテーション精度を向上させる上でその重要性を確認した。
• CFBI+は、小規模オブジェクト、隠蔽、複数の類似オブジェクト（例：10人のダンサー）が存在するような困難なケースにおいても、安定した性能を維持し、良好な一般化性能を示した。