[論文レビュー] Dual Prototype Attention for Unsupervised Video Object Segmentation

Suhwan Cho, Minhyeok Lee+5 more|arXiv (Cornell University)|Nov 22, 2022

Visual Attention and Saliency Detection被引用数 4

ひとこと要約

本論文は、外見特徴と動き特徴の適応的融合のための相互モダリティアテンション（IMA）と、プロトタイプベースのメモリバンクを介したグローバルな動画コンテキスト伝搬のための相互フレームアテンション（IFA）を導入する、新たな教師なし動画オブジェクトセグメンテーションフレームワークであるデュアルプロトタイプアテンション（DPA）を提案する。本手法は、DAVIS 2016、FBMS、YouTube-Objectsベンチマークで最先端の性能を達成し、計算コストが低く抑えられながらも、従来手法と顕著な差をつけて優れている。

ABSTRACT

Unsupervised video object segmentation (VOS) aims to detect and segment the most salient object in videos. The primary techniques used in unsupervised VOS are 1) the collaboration of appearance and motion information; and 2) temporal fusion between different frames. This paper proposes two novel prototype-based attention mechanisms, inter-modality attention (IMA) and inter-frame attention (IFA), to incorporate these techniques via dense propagation across different modalities and frames. IMA densely integrates context information from different modalities based on a mutual refinement. IFA injects global context of a video to the query frame, enabling a full utilization of useful properties from multiple frames. Experimental results on public benchmark datasets demonstrate that our proposed approach outperforms all existing methods by a substantial margin. The proposed two components are also thoroughly validated via ablative study.

研究の動機と目的

• 既存の教師なし動画オブジェクトセグメンテーション手法におけるマルチモダリティ統合と時間的集約の限界を解消すること。
• モダリティ間の密な相互精錬を可能にすることで、外見的または動きの特徴が不安定であっても、その耐性を高めること。
• 反復的精錬に依存せず、高い計算コストを伴わず、グローバルな動画コンテキストを効率的に活用すること。
• ピクセルレベルの特徴を空間的知識を有する構造的プロトタイプに変換することで、特徴表現を向上させること。
• 標準的な教師なしVOSベンチマークで最先端の性能を達成するとともに、推論効率を維持すること。

提案手法

• 外見と動きのブランチ間で、適応的アテンションに基づく特徴伝搬を用いて、相互特徴精錬を実現する相互モダリティアテンション（IMA）を導入する。
• サンプリングされたフレームからの特徴を外部メモリバンクに格納し、各クエリフレームに対してグローバルコンテキストを適応的に取得する相互フレームアテンション（IFA）を採用する。
• ピクセルレベルの特徴をプロトタイプレベルの表現に変換するプロトタイプベースのフレームワークを用い、空間的構造の認識と耐性を向上させる。
• RGB画像とオプティカルフロー画像を並列に処理する二重ストリームエンコーダ-デコーダアーキテクチャを採用し、IMAおよびIFAモジュールを重要な段階に統合する。
• 複数フレームからの特徴を格納・取得するメモリバンク機構を用い、反復的精錬に依存せず、完全な動画コンテキストの利用を可能にする。
• クロスモダリティおよびクロスフレームの関連性に基づいて、動的に特徴の重要度を割り当てる適応的アテンション機構を適用する。

実験結果

リサーチクエスチョン

• RQ1 二重アテンション機構により、外見特徴と動き特徴の間で密な相互精錬を可能にすることで、教師なし動画オブジェクトセグメンテーションにおけるマルチモダリティ統合を向上させられるか？
• RQ2 初期フレームに依存せず、反復的精錬を用いずに、相互フレームアテンションが各クエリフレームに効果的にグローバルな動画コンテキストを統合できるか、これにより時間的整合性が向上するか？
• RQ3 プロトタイプベースの表現学習フレームワークを組み込むことで、教師なしVOSにおける特徴品質と耐性が向上するか？
• RQ4 提案手法は、標準ベンチマークで最先端の性能を達成しつつ、計算複雑性が低い状態を維持できるか？
• RQ5 アブレーションスタディにおいて、個々のモジュール（IMA、IFA、プロトタイプフレームワーク）は、全体の性能向上にどの程度寄与しているか？

主な発見

• DAVIS 2016の検証セットでは、512×512解像度で平均JIoUスコア87.6%を達成し、前回の最先端手法HFANを0.3%上回った。
• FBMSのテストセットでは、次に優れた手法よりも1.1%高いJIoUスコアを記録し、複数オブジェクトのシナリオにおいて強い耐性を示した。
• 挑戦的なYouTube-Objectsデータセットでは、10クラス中4クラスで1位を獲得し、平均JIoUが87.4%に達し、すべての先行手法を上回った。
• アブレーションスタディの結果、IMAおよびIFAの両方が性能向上に顕著な寄与を示し、さらにプロトタイプフレームワークが特徴品質と一般化性能を向上させた。
• 推論効率が高く保たれており、単一のRTX 3090 GPU上で352×352解像度で1動画あたり25.4秒の実行時間であり、計算コストの高い手法を上回った。
• 定性的な結果では、DPAは急激な動きやオクルージョン下でも安定したトラッキングを維持していたが、他の手法は背景の干渉により失敗していた。