[論文レビュー] TransVOS: Video Object Segmentation with Transformers

Jianbiao Mei, Mengmeng Wang+3 more|arXiv (Cornell University)|Jun 1, 2021

Visual Attention and Saliency Detection参考文献 44被引用数 14

ひとこと要約

TransVOSは、1つの二パス特徴抽出器を用いて空間的および時間的関係を統合的にモデル化する視覚変換器ベースのフレームワークを提案する。この手法により、パラメータ数を20%削減しつつ、DAVISおよびYouTube-VOSベンチマークでSOTA手法を2.4%上回る全体のJ&Fスコアを達成する。

ABSTRACT

Recently, Space-Time Memory Network (STM) based methods have achieved state-of-the-art performance in semi-supervised video object segmentation (VOS). A crucial problem in this task is how to model the dependency both among different frames and inside every frame. However, most of these methods neglect the spatial relationships (inside each frame) and do not make full use of the temporal relationships (among different frames). In this paper, we propose a new transformer-based framework, termed TransVOS, introducing a vision transformer to fully exploit and model both the temporal and spatial relationships. Moreover, most STM-based approaches employ two separate encoders to extract features of two significant inputs, i.e., reference sets (history frames with predicted masks) and query frame (current frame), respectively, increasing the models' parameters and complexity. To slim the popular two-encoder pipeline while keeping the effectiveness, we design a single two-path feature extractor to encode the above two inputs in a unified way. Extensive experiments demonstrate the superiority of our TransVOS over state-of-the-art methods on both DAVIS and YouTube-VOS datasets.

研究の動機と目的

• 動画オブジェクトセグメンテーションにおける既存のSpace-Time Memory（STM）手法が、空間的および時間的関係を十分にモデル化できないという制限を解決する。
• 参照入力と照合入力のための統合的二パス特徴抽出器に二重エンコーダ構成を置き換えることで、モデルの複雑さを低減する。
• 視覚変換器における自己注意機構を活用してフレーム間およびフレーム内での長距離依存関係を捉えることで、セグメンテーションの正確性を向上させる。
• STMスタイルのフレームワークにおける動的メモリ更新が、低品質な履歴マスクの伝搬により性能を低下させる可能性があることを示す。
• パラメータ数や推論コストを増加させることなく、高い性能を維持できる軽量かつ効果的なアーキテクチャを確立する。

提案手法

• 参照フレーム（予測マスク付）とクエリフレームを統合的に処理する視覚変換器ベースのアーキテクチャを導入し、二パス入力ストリームを用いる。
• RGBフレームと参照フレームからの予測マスクを別々に処理する二パス特徴抽出器を設計し、連結やシアン型共有を用いず、パラメータ効率の良い統合を実現する。
• 自己注意機構を備えた変換器デコーダを採用し、フレーム全体および各フレーム内でのすべての画素間の依存関係をモデル化することで、空間的および時間的関係を同時に捉える。
• クエリフレーム特徴と参照フレーム特徴の間のクロス注意を活用し、グローバルなコンテキストを用いて正確なセグメンテーションマスクを予測する。
• 視覚変換器バックボーンからの特徴マップを用いて、時間的および空間的両方の関連領域に注目する注目マップを生成する。
• 予測マスクを特徴抽出器の専用パスに直接入力することで、マスクワープやパディングに起因するずれを回避する。

実験結果

リサーチクエスチョン

• RQ1 別々のエンコーダに依存せずに、視覚変換器が動画オブジェクトセグメンテーションにおいて空間的および時間的関係を効果的にモデル化できるか。
• RQ2 統合的二パス特徴抽出器は、従来の二重エンコーダまたはシアン型アーキテクチャと比較して、精度およびパラメータ効率の面で優れているか。
• RQ3 変換器デコーダの導入により、STMベースのモデルにおける標準的な注目モジュールと比較してマスク予測がどのように向上するか。
• RQ4 最初のフレームと直前のフレームのみを参照入力として使用する場合と、定期的な更新を伴う動的メモリバンクを維持する場合とでは、性能にどのような差が生じるか。
• RQ5 二パス構造による予測マスクとRGB特徴の直接的特徴統合は、連結や残差接続と比較して性能向上に寄与するか。

主な発見

• TransVOSは、最初のフレームと直前のフレームのみを参照として使用した場合、DAVIS 17バリデーションセットで76.4%のJ&Fスコアを達成し、STMを2.4ポイント上回る。
• 二パス特徴抽出器は、独立した二重エンコーダ構成と比較して20%のパラメータ削減を実現するとともに、J&Fスコアを7.8ポイント向上させる。
• 二パス特徴抽出器を用いることで、マスク特徴とエンコード済み特徴の直接的な乗算と比較して、J&Fスコアが15.1%向上する。
• 変換器デコーダを削除するとJ&Fスコアが1.2ポイント低下し、最適な性能を発揮するには不可欠であることが確認された。
• STMで採用されている5フレームごとの動的メモリ更新は、低品質な履歴予測の伝搬により性能を低下させる要因となる。
• 提案手法は、KMNおよびCFBIと比較してそれぞれ0.4%のJ&Fスコアで上回り、ベンチマークデータセットにおける優れた一般化性能とロバスト性を示した。