[論文レビュー] Fully Transformer-Equipped Architecture for End-to-End Referring Video Object Segmentation

Ping Li, Yu Zhang+2 more|arXiv (Cornell University)|Sep 21, 2023

Advanced Image and Video Retrieval TechniquesComputer Science被引用数 3

ひとこと要約

本論文は、参照動画オブジェクトセグメンテーション（RVOS）をオブジェクト単位のマスク予測として扱う、完全にエンド・ツー・エンドのトランスフォーマー基盤アーキテクチャであるFTEAを提案する。スタックド・トランスフォーマーを用いて多様性正則化を施したオブジェクト固有の特徴をデコードすることで、A2D Sentencesで45.1%のmAP、J-HMDB Sentencesで38.7%、Ref-YouTube-VOSで56.6%のJ&Fを達成し、最先端の性能を実現した。

ABSTRACT

Referring Video Object Segmentation (RVOS) requires segmenting the object in video referred by a natural language query. Existing methods mainly rely on sophisticated pipelines to tackle such cross-modal task, and do not explicitly model the object-level spatial context which plays an important role in locating the referred object. Therefore, we propose an end-to-end RVOS framework completely built upon transformers, termed extit{Fully Transformer-Equipped Architecture} (FTEA), which treats the RVOS task as a mask sequence learning problem and regards all the objects in video as candidate objects. Given a video clip with a text query, the visual-textual features are yielded by encoder, while the corresponding pixel-level and word-level features are aligned in terms of semantic similarity. To capture the object-level spatial context, we have developed the Stacked Transformer, which individually characterizes the visual appearance of each candidate object, whose feature map is decoded to the binary mask sequence in order directly. Finally, the model finds the best matching between mask sequence and text query. In addition, to diversify the generated masks for candidate objects, we impose a diversity loss on the model for capturing more accurate mask of the referred object. Empirical studies have shown the superiority of the proposed method on three benchmarks, e.g., FETA achieves 45.1% and 38.7% in terms of mAP on A2D Sentences (3782 videos) and J-HMDB Sentences (928 videos), respectively; it achieves 56.6% in terms of $\mathcal{J\&F}$ on Ref-YouTube-VOS (3975 videos and 7451 objects). Particularly, compared to the best candidate method, it has a gain of 2.1% and 3.2% in terms of P$@$0.5 on the former two, respectively, while it has a gain of 2.9% in terms of $\mathcal{J}$ on the latter one.

研究の動機と目的

• 参照動画オブジェクトセグメンテーション（RVOS）におけるオブジェクトレベルの空間的関係をモデル化する点で、従来のピクセル単位分類手法に見られる制限を解消すること。
• 複雑なシーンにおける相対的なオブジェクト位置や相互作用を明示的にモデル化できなかった既存手法の欠陥を克服すること。
• 視覚的および言語的特徴符号化、クロスマodalなアライメント、マスクデコードを統合する、完全にエンド・ツー・エンドのフレームワークを、CNN や RNN を一切使用せずにトランスフォーマーのみで構築すること。
• 候補オブジェクトを独立したエンティティとして明示的にモデル化し、専用のデコード戦略を採用することで、マスクの多様性と正確性を向上させること。
• オブジェクトの外観変化、隠蔽、低照度状態などの困難な状況においても、より良い一般化性能を実現すること。

提案手法

• 視覚エンコーダ、テキストエンコーダ、クロスマodalなアライメント、マスクデコーダのすべてのコンponentにCNN や RNN を使用せず、純粋なトランスフォーマーに置き換える完全にトランスフォーマー搭載アーキテクチャ（FTEA）を提案する。
• フレーム特徴をスタックド自己注意およびフィードフォワード層を用いて処理するスタックド・トランスフォーマー基盤のマスクデコーダを導入し、オブジェクト固有の特徴マップを生成する。
• 長時間にわたる空間的・時間的依存関係をモデル化するため、スタックド・アテンション（SA）およびスタックド・フィードフォワードネットワーク（SFFN）を用いた段階的オブジェクト学習戦略を採用する。
• 各候補オブジェクトの特徴表現を強化しつつ、空間的文脈を保持するように、デコーダに動的畳み込みを導入する。
• トレーニング段階で多様性損失を適用し、候補オブジェクト間で異なるマスク予測が促進されるようにすることで、複数のオブジェクトが重なったり似通った外観を示すシーンにおける識別精度を向上させる。
• ピクセルレベルの表現と単語レベルの表現の間で意味的類似度マッチングを用いて視覚的および言語的特徴をアライメントし、正確なクロスマodalなグランドイングを保証する。

実験結果

リサーチクエスチョン

• RQ1 完全にトランスフォーマー基盤のアーキテクチャは、ハイブリッドCNN-RNNパイプラインを上回る性能を示せるか？
• RQ2 すべての候補オブジェクトに対してマスクを生成するオブジェクト単位分類タスクとしてRVOSを定式化することで、ピクセル単位分類に比べて性能が向上するか？
• RQ3 スタックド・トランスフォーマーは、動画シーケンスにおけるオブジェクトレベルの空間的コンテキストおよび長距離時間的依存関係を効果的に捉えられるか？
• RQ4 予測マスクの多様性を強制することで、複数の類似または重複するオブジェクトが存在するシーンにおける参照オブジェクトの識別にどのような影響を与えるか？
• RQ5 提案手法は、低照度、オブジェクトの隠蔽、外観変化といった困難な視覚的条件下でもどれほど一般化可能か？

主な発見

• A2D Sentencesでは45.1%のmAPを達成し、最良のベースラインよりP@0.5で2.1%高い性能を示し、多様な参照表現における優れた一般化性能を裏付けた。
• J-HMDB Sentencesでは38.7%のmAPを達成し、最も強力な先行手法よりP@0.5で3.2%高い性能を示し、複雑な人間-オブジェクト相互作用に耐性があることを示した。
• Ref-YouTube-VOSでは56.6%のJ&Fを達成し、最良のベースラインより2.9%高い性能を示し、大規模で多様な動画データセットにおける有効性を強力に示した。
• アブレーションスタディの結果、多様性損失がマスク品質およびオブジェクト識別に顕著に寄与することが確認され、特に重複するか類似した外観のオブジェクトが存在するシーンで顕著であった。
• 失敗事例から、小さなオブジェクトや低コントラストのオブジェクト（例：鳥のくちばし、薄暗い部屋のネコ）のセグメンテーションに限界があることが判明し、微細な輪郭予測の改善の余地があることが示唆された。
• モデルの性能はオブジェクトの外観変化や隠蔽に敏感であることが判明したため、今後の研究では関係性推論およびモデル圧縮に焦点を当てる必要がある。