[論文レビュー] Full-Duplex Strategy for Video Object Segmentation

Ge-Peng Ji, Deng-Ping Fan+4 more|arXiv (Cornell University)|Aug 6, 2021

Visual Attention and Saliency Detection参考文献 137被引用数 11

ひとこと要約

本論文は、関係的クロスアテンションモジュール（RCAM）と双方向精錬モジュール（BPM）を介して、外見と動きの特徴間で双方向の特徴相互作用を可能にする、ビデオオブジェクトセグメンテーションのための新規フレームワークであるフルデュプレックス戦略ネットワーク（FSNet）を提案する。この手法は、5つのベンチマークで最先端の性能を達成し、相互制約によるモダリティ間の統合により、動きのぼやけや隠蔽に対する耐性を著しく向上させるとともに、特徴のずれを低減する。

ABSTRACT

Previous video object segmentation approaches mainly focus on using simplex solutions between appearance and motion, limiting feature collaboration efficiency among and across these two cues. In this work, we study a novel and efficient full-duplex strategy network (FSNet) to address this issue, by considering a better mutual restraint scheme between motion and appearance in exploiting the cross-modal features from the fusion and decoding stage. Specifically, we introduce the relational cross-attention module (RCAM) to achieve bidirectional message propagation across embedding sub-spaces. To improve the model's robustness and update the inconsistent features from the spatial-temporal embeddings, we adopt the bidirectional purification module (BPM) after the RCAM. Extensive experiments on five popular benchmarks show that our FSNet is robust to various challenging scenarios (e.g., motion blur, occlusion) and achieves favourable performance against existing cutting-edges both in the video object segmentation and video salient object detection tasks. The project is publicly available at: https://dpfan.net/FSNet.

研究の動機と目的

• 外見と動きの特徴の単方向的または方向に依存しない統合に依存する従来のビデオオブジェクトセグメンテーション手法の制限を解消すること。
• 外見と動きのモダリティ間の相互制約を可能にすることで、特徴の一貫性を向上させ、短期間の特徴ずれを低減すること。
• 双方向情報フローを通じて空間的・時間的表現を効果的に活用する統合的なディープラーニングフレームワークを構築すること。
• 動きのぼやけ、隠蔽、ごみだらけの背景といった困難な状況下での耐性を高めること。

提案手法

• 外見と動きの埋め込み部分空間間で双方向のメッセージスイーピングを可能にする関係的クロスアテンションモジュール（RCAM）を導入する。
• 高レベルの表現を用いて低レベル特徴を繰り返し精錬することで、一貫性のない特徴を是正する双方向精錬モジュール（BPM）を採用する。
• BPMにおけるインターリースドデクリメント接続を用い、高レベル特徴をセットからポイントへと低レベル特徴にブロードキャストする。
• エンコーディングおよびデコーディングの両段階で、外見ブランチと動きブランチが同時に相互にガイドするフルデュプレックス戦略を適用する。
• さらにセグメンテーションマスクを精錬するためにCRFの後処理を統合する。
• 双方向相互作用とモデルの複雑さの寄与を比較するため、自己精錬ベースラインを設計する。

実験結果

リサーチクエスチョン

• RQ1 外見と動きの特徴間の双方向相互作用は、単方向的または方向に依存しない統合と比較して、ビデオオブジェクトセグメンテーションの性能を向上させるか？
• RQ2 外見と動きの特徴が相互に制約を及えることで、時間的シーケンスにおける特徴ずれはどのように低減されるか？
• RQ3 提案された双方向精錬機構は、単方向的または自己精錬ベースラインを上回って、一貫性のない特徴を是正できるか？
• RQ4 フルデュプレックス戦略は、動きのぼやけや隠蔽といった困難な視覚的条件下で、どの程度耐性を向上させるか？
• RQ5 提案されたフレームワークは、少ないラベル付き学習データでも最先端の結果を達成できるか？

主な発見

• FSNetは、DAVIS16、YouTube-VOS、MCLを含む5つのベンチマークで、DAVIS16における平均Jaccardインデックス86.7%を達成し、新たな最先端性能を記録した。
• 類似したアーキテクチャを持つ自己精錬ベースラインと比較して、DAVIS16ではSαが2.1%向上し、MCLでは1.0%向上した。
• 13,000件のトレーニングサンプルで動作するFSNetは、16,000件のデータを必要とする最良の非教師ありVOSモデル（MAT）を上回り、より少ないラベル付きデータで優れた性能を示した。
• 双方向精錬モジュール（BPM）は顕著な貢献を示しており、自己精錬バージョンと比較して2.1%の向上を達成し、真の双方向相互作用の利点を裏付けた。
• フルデュプレックス戦略は特徴ずれを低減させ、構造的詳細の正確性を向上させたことが、単純な戦略との視覚的比較で明確に示された。
• 広範なアブレーションスタディにより、性能向上の要因がモデルの複雑さではなく、双方向相互作用に起因することが確認された。