[論文レビュー] Expression Prompt Collaboration Transformer for Universal Referring Video Object Segmentation

Jiajun Chen, Jiacheng Lin+5 more|arXiv (Cornell University)|Aug 8, 2023

Speech and Audio Processing被引用数 4

ひとこと要約

本稿では、音声およびテキストプロンプトを統合的に処理する、汎用的なトランスフォーマー基盤アーキテクチャであるEPCFormerを提案する。対照的学習による表現アライメントと、クロスマodal融合のための表現-視覚アテンションを導入することで、EPCFormerは、参照動画オブジェクトセグメンテーション（R-VOS）および音声誘導型動画オブジェクトセグメンテーション（A-VOS）の両ベンチマークで最先端の性能を達成し、Ref-Youtube-VOSでは55.6%のJ&Fスコア、A-Youtube-VOSでは53.7%を記録した。

ABSTRACT

Audio-guided Video Object Segmentation (A-VOS) and Referring Video Object Segmentation (R-VOS) are two highly related tasks that both aim to segment specific objects from video sequences according to expression prompts. However, due to the challenges of modeling representations for different modalities, existing methods struggle to strike a balance between interaction flexibility and localization precision. In this paper, we address this problem from two perspectives: the alignment of audio and text and the deep interaction among audio, text, and visual modalities. First, we propose a universal architecture, the Expression Prompt Collaboration Transformer, herein EPCFormer. Next, we propose an Expression Alignment (EA) mechanism for audio and text. The proposed EPCFormer exploits the fact that audio and text prompts referring to the same objects are semantically equivalent by using contrastive learning for both types of expressions. Then, to facilitate deep interactions among audio, text, and visual modalities, we introduce an Expression-Visual Attention (EVA) module. The knowledge of video object segmentation in terms of the expression prompts can seamlessly transfer between the two tasks by deeply exploring complementary cues between text and audio. Experiments on well-recognized benchmarks demonstrate that our EPCFormer attains state-of-the-art results on both tasks. The source code will be made publicly available at https://github.com/lab206/EPCFormer.

研究の動機と目的

• マルチモーダルな参照動画オブジェクトセグメンテーションにおける相互作用の柔軟性と高精度ロケーションのバランスをとる課題に対処すること。
• 同一アーキテクチャ内でテキストおよび音声誘導型セグメンテーションの間でスムーズな知識移行を可能にするために、両モダリティを統合すること。
• 同じオブジェクトを示す音声とテキスト表現の間の意味的アライメントを、対照的学習により向上させること。
• 新しいアテンションメカニズムを用いて、音声、テキスト、視覚特徴の間で深い、合成可能な相互作用を促進すること。
• 共有のマルチタスク学習フレームワークを用いて、R-VOSおよびA-VOSの両タスクで最先端の性能を達成すること。

提案手法

• 音声およびテキストの参照表現を統合的に処理する、汎用的なトランスフォーマー基盤アーキテクチャであるEPCFormerを提案する。
• 表現アライメント（EA）を導入し、線形変換後に共通のマルチモーダル埋め込み空間に音声およびテキスト特徴をアライメントする、対照的学習に基づくメカニズムを提案する。
• 表現-視覚アテンション（EVA）を設計し、表現-視覚相互作用（EVI）モジュールと音声-テキスト協調（ATC）モジュールを組み合わせることで、音声、テキスト、視覚特徴の深い、合成可能な統合を可能にする。
• R-VOSおよびA-VOSを同時に最適化するマルチタスク学習戦略を採用し、両タスク間での知識移行を可能にする。
• 音声用とテキスト用の2本のパスウェイを採用し、共有の視覚エンコーダーとクロスアテンションメカニズムを用いて、モダリティを動的に統合する。
• セグメンテーション損失と表現対照的学習損失を重み付けして組み合わせた最適化を実施し、ハイパーパramータの分析により、2層のMLPとλ_expr = 1が最適な設定であると確認した。

実験結果

リサーチクエスチョン

• RQ1 共有パラメータを用いて、テキストおよび音声誘導型の参照動画オブジェクトセグメンテーションを効果的に処理できる統一アーキテクチャは構築可能か？
• RQ2 同じオブジェクトを示す音声とテキスト表現を、マルチモーダル埋め込み空間内で意味的にアライメントするにはどうすればよいか？
• RQ3 音声、テキスト、視覚特徴の間で、正確なセグメンテーションを実現するための深い、合成可能な相互作用を最適に実現する方法は何か？
• RQ4 R-VOSおよびA-VOSの両タスクでマルチタスク学習を実施することで、単一タスクのベースラインと比較して一般化性能と性能が向上するか？
• RQ5 MLPの深さや対照的損失の重み付けといったアーキテクチャ的要因が、モデル性能に与える影響は何か？

主な発見

• EPCFormerは、Ref-Youtube-VOSベンチマークで55.6%のJ&Fスコアを達成し、R-VOSの新たな最先端性能を樹立した。
• A-Youtube-VOSベンチマークでは53.7%のJ&Fスコアを達成し、A-VOSで報告された最高性能を記録した。
• 2層のMLPと対照的損失重みλ_expr = 1の設定が最適であり、1、3、4層の構成よりも優れた性能を示した。
• 音声およびテキスト入力を統合したマルチタスク学習により、最高の性能が得られ、R-VOSおよびA-VOS間での効果的な知識移行が示された。
• アブレーションスタディの結果、表現アライメント（EA）および表現-視覚アテンション（EVA）モジュールが性能向上に不可欠であることが確認され、アブレーションバージョンと比較して顕著な向上が見られた。
• 両モダリティを組み合わせた場合に、J、F、J&Fの各指標で一貫した向上が見られ、モデルの頑健性と一般化性能が確認された。