[論文レビュー] Joint Modeling of Feature, Correspondence, and a Compressed Memory for Video Object Segmentation

Jiaming Zhang, Yutao Cui+2 more|arXiv (Cornell University)|Aug 25, 2023

Advanced Neural Network ApplicationsComputer Science被引用数 3

ひとこと要約

本論文では、特徴量、対応関係、および圧縮されたメモリトークンを1つのトランスフォーマー基盤アーキテクチャ内で統合的にモデル化する、JointFormerという統合型ビデオオブジェクトセグメンテーションフレームワークを提案する。Joint Blocksにおけるアテンション機構を活用して、特徴量、対応関係、メモリ間で逐次的にターゲット情報の伝搬を実現することで、DAVIS 2017（検証用で89.7% J&F、テストデブで87.6%）およびYouTube-VOS 2018/2019（両方の検証スプリットで87.0%）で最先端の性能を達成し、より洗錬された特徴量学習と長期的な時系列モデリングによって、先行手法を上回っている。

ABSTRACT

Current prevailing Video Object Segmentation methods follow the pipeline of extraction-then-matching, which first extracts features on current and reference frames independently, and then performs dense matching between them. This decoupled pipeline limits information propagation between frames to high-level features, hindering fine-grained details for matching. Furthermore, the pixel-wise matching lacks holistic target understanding, making it prone to disturbance by similar distractors. To address these issues, we propose a unified VOS framework, coined as JointFormer, for jointly modeling feature extraction, correspondence matching, and a compressed memory. The core Joint Modeling Block leverages attention to simultaneously extract and propagate the target information from the reference frame to the current frame and a compressed memory token. This joint scheme enables extensive multi-layer propagation beyond high-level feature space and facilitates robust instance-distinctive feature learning. To incorporate the long-term and holistic target information, we introduce a compressed memory token with a customized online updating mechanism, which aggregates target features and facilitates temporal information propagation in a frame-wise manner, enhancing global modeling consistency. Our JointFormer achieves a new state-of-the-art performance on the DAVIS 2017 val/test-dev (89.7\% and 87.6\%) benchmarks and the YouTube-VOS 2018/2019 val (87.0\% and 87.0\%) benchmarks, outperforming the existing works. To demonstrate the generalizability of our model, it is further evaluated on four new benchmarks with various difficulties, including MOSE for complex scenes, VISOR for egocentric videos, VOST for complex transformations, and LVOS for long-term videos.

研究の動機と目的

• 既存のVOS手法における分離型特徴抽出とマッチングの制限を解消し、情報伝達を高レベル特徴に限定し、オブジェクト全体の理解を欠如させる問題に対処すること。
• 1つのアーキテクチャ内で特徴量、ピクセル単位の対応関係、およびインスタンスレベルの圧縮メモリを統合的にモデリングすることで、識別的特徴量学習を向上させること。
• 圧縮メモリトークンに特化したオンライン更新機構を設計し、時間軸に沿って情報を伝搬させることで、長期的な時系列モデリングを強化すること。
• マスク画像モデリングなどの大規模事前学習技術（例：Masked Image Modeling）を効果的に活用できるように、3つのコンponentを1つのアテンションベースのフレームワークで統合すること。
• 特徴量、対応関係、メモリ間で多段階的かつ反復的な情報伝搬を可能にすることで、標準ベンチマークにおける優れた性能を達成すること。

提案手法

• フレームワークは、フラット化された現在フレームと参照フレームの特徴量に加え、圧縮メモリトークンを連結し、ビジョントランスフォーマーベースのバックボーンでスタックされたJoint Blocksによって処理されるトークン系列を形成する。
• 各Joint Blockは、自己アテンションとクロスアテンションを用いて、一括で特徴量抽出、密な対応マップの計算、圧縮メモリトークンの更新をエンドツーエンドで実行する。
• 圧縮メモリトークンは、各オブジェクトを1つのインスタンスレベルの埋め込みとして表現し、オブジェクト全体のモデリングを可能にするとともに、メモリのオーバーヘッドを低減する。
• 時間的文脈として、過去のフレームからの多段階特徴量を用いる、特化したオンライン更新機構により、時間軸に沿った長距離情報伝搬を実現する。
• 推論時には、複数スケールで予測を評価し、平均化することで、ロバストネスと精度を向上させる、マルチスケール推論を適用する。
• バックボーンでは、マスク画像モデリングの事前学習目的を用いて学習することで、より優れた特徴量学習が可能となり、下流のVOSタスクにおける性能向上が達成される。

Figure 1 : The pipeline of existing VOS works (a) and ours (b). (a) Existing works perform feature extraction and matching separately. (b) Our framework jointly models features, correspondence, and the compressed memory.

実験結果

リサーチクエスチョン

• RQ1 1つのトランスフォーマーブロック内で特徴量、対応関係、圧縮メモリを統合的にモデリングすることで、分離型パイプラインと比較して、ビデオオブジェクトセグメンテーションの性能が向上するか？
• RQ2 各オブジェクトを全体として表現する圧縮メモリトークンの統合は、オブジェクト全体の理解をどのように向上させ、ノイズや干渉要因への感受性を低下させるか？
• RQ3 提案された圧縮メモリのオンライン更新機構は、長時間の動画シーケンスにおいて、長期的な時系列モデリングとロバストネスをどの程度向上させるか？
• RQ4 統合型アテンションベースの設計は、分離型の特徴量とマッチングモジュールと比較して、マスク画像モデリングのような大規模事前学習技術の活用をどの程度向上させるか？
• RQ5 圧縮メモリに複数の参照フレームを用いる場合、性能、推論速度、メモリ消費量のトレードオフはどのように変化するか？

主な発見

• JointFormerは、DAVIS 2017の検証スプリットで89.7% J&F、テストデブスプリットで87.6%という、新たな最先端の性能を達成し、先行手法を大きく上回っている。
• YouTube-VOS 2018および2019の検証セットでは、87.0%のグローバルスコア（G）を達成し、多様な動画分布にわたる優れた一般化性能を示している。
• アブレーションスタディの結果、マルチスケール推論が性能向上に寄与することが確認され、DAVIS 2017のテストデブでマルチスケール評価を適用した場合、最高で88.5% J&Fに到達した。
• 先行SOTAモデル（AOT-L、DeAOT-L、XMem）のバックボーンをConvMAE-Baseに置き換えても、同じ学習設定かつ合成的事前学習なしで、JointFormerは依然として大幅に優れている。
• YouTube-VOS 2018では86.0% Gの高精度を維持しながら、1フレームあたりのメモリ消費量を18.77Kから5.785Kに削減し、効率性の向上を実現している。
• 参照フレーム数を3から1に減らしても、YouTube-VOS 2018で性能はわずかに低下するのみ（87.6%から86.2%に）、強力なロバストネスと高速推論の可能性を示している。

Figure 2 : Overview of our JointFormer . The current and reference frames with masks are split and flattened into patches, then fed with our compressed memory into the Vision Transformer backbone consisting of Joint Blocks . Finally, we enhance the current tokens with compressed memory and sent them