[論文レビュー] DropMAE: Learning Representations via Masked Autoencoders with Spatial-Attention Dropout for Temporal Matching Tasks

Qiangqiang Wu, Tianyu Yang+4 more|arXiv (Cornell University)|Apr 2, 2023

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

DropMAEは、視覚的オブジェクト追跡（VOT）および動画オブジェクトセグメンテーション（VOS）のための動画表現事前学習において、時間的対応関係学習を向上させるために、適応的空間注意ドロップアウトを導入したマスクド自己符号化器を提案する。再構成過程における空間的特徴の共適応を遮断することで、時間的特徴学習が強化され、9つのベンチマークのうち8つで最先端性能を達成し、ImageNetベースのMAEと比較して2倍速い事前学習速度を実現した。

ABSTRACT

This paper studies masked autoencoder (MAE) video pre-training for various temporal matching-based downstream tasks, i.e., object-level tracking tasks including video object tracking (VOT) and video object segmentation (VOS), self-supervised visual correspondence learning, dense tracking tasks including optical flow estimation and long-term point tracking, and 3D point cloud tracking. Specifically, our work explores to provide a general representation to boost the temporal matching ability in various downstream tracking tasks. To achieve this, we firstly find that a simple extension of MAE, which randomly masks out frame patches in videos and reconstruct the frame pixels, heavily relies on spatial cues while ignoring temporal relations for frame reconstruction, thus leading to sub-optimal temporal matching representations. To alleviate this, we propose DropMAE, which adaptively performs spatial-attention dropout in the frame reconstruction to facilitate temporal correspondence learning in videos. We obtain several important findings with DropMAE: 1) DropMAE is a strong and efficient temporal matching learner, which achieves better fine-tuning results on matching-based tasks than the ImageNet-based MAE with 2x faster pre-training speed. 2) DropMAE is effective for different tracking tasks, i.e., object-level matching tasks including VOT and VOS, dense tracking tasks including optical flow estimation and tracking any point (TAP), and even 3D tracking in the different modality of point cloud data. Since none exists, we build ViT-based trackers for different downstream tracking tasks, and our pre-trained DropMAE model can be directly loaded in these ViT-based trackers for fine-tuning without further modifications. Experiments on 6 downstream tracking tasks demonstrate the effectiveness of DropMAE as a general pre-trained representation for diverse tracking tasks.

研究の動機と目的

• VOT や VOS のようなマッチングベースのタスクのための動画事前学習において、標準的なマスクド自己符号化器（MAE）が時間的表現学習において最適でない問題に対処すること。
• フレーム内トークン間の共適応を軽減することで、再構成過程における空間的特徴への依存度を低下させること。
• 再構成プロセスにおける適応的空間的注意ドロップアウトを通じて、時間的対応関係学習を強化すること。
• 事前学習用動画データにおける動きの多様性とシーンの多様性が、下流の追跡およびセグメンテーションタスクに与える影響を調査すること。
• アーキテクチャの変更なしに、ViTベースのトラッカーに即座に統合可能なプラグアンドプレイ型事前学習モデルを開発すること。

提案手法

• フレーム再構成時に空間的共適応を遮断するために、適応的空間的注意ドロップアウト（ASAD）を適用するマスクド自己符号化器「DropMAE」を提案する。
• ASADは、同じフレーム内での空間的に近接したパッチ同士の注意重みを再構成過程で選択的にドロップし、時間的特徴に依存するよう促進する。
• 2段階の事前学習パイプラインを採用：まずImageNetベースのMAEで初期化し、次にKinetics-400（K400）で時間的対応関係を微調整する。
• 標準的なビジョン変換器（ViT）エンコーダーとデコーダーを採用し、事前学習中はドロップアウトをデコーダーのマルチヘッドアテンション層にのみ適用する。
• 予測されたマスク済みパッチと真値パッチの間のピクセル単位L2損失を最小化する再構成目的を採用する。
• ランダムドロップアウトの影響を評価するための変種「RandDrop-MAE」を導入し、その劣化を示した。

実験結果

リサーチクエスチョン

• RQ1 マスクド自己符号化器における適応的空間的注意ドロップアウトは、動画マッチングタスクのための時間的対応関係学習を向上させ得るか？
• RQ2 再構成過程における空間的特徴への依存度を低くすることで、VOTおよびVOSベンチマークでの性能が向上するか？
• RQ3 事前学習データにおける動きの多様性とシーンの多様性のどちらが、下流の追跡およびセグメンテーション性能に与える影響が大きいのか？
• RQ4 DropMAEは、アーキテクチャの変更なしに、既存のViTベースのトラッカーに即座に統合可能なプラグイン型バックボーンとして使用可能か？
• RQ5 DropMAEの性能向上は、より優れた時間的モデリングによるものか、それとも特徴の一般化能力向上によるものか？

主な発見

• DropMAEは、GOT-10kで75.9% AO、DAVIS-17で92.1% J&Fを達成するなど、9つの動画追跡およびセグメンテーションベンチマークのうち8つで最先端性能を達成した。
• ImageNetベースのMAEと比較して、DropMAEの事前学習は2倍速く、マッチングベースのタスクでの微調整性能も向上した。
• VOTおよびVOSの性能向上において、事前学習動画の動きの多様性がシーンの多様性よりも重要であることが示された。
• ImageNetベースのMAEを初期化に用いることでDropMAEの性能が向上したため、多様なオブジェクトクラスの恩恵があることが示された。
• DropMAEを用いたトラッカー「DropSeg」は、オンラインメモリ機構を搭載しない状態でDAVIS-17およびYouTube-VOSで競争力ある結果を達成し、同様の構成を有する手法を上回った。
• アブレーション実験により、ランダムドロップアウト（RandDrop-MAE）はASADに劣ることが確認され、適応的かつ文脈に応じた注意ドロップの重要性が裏付けられた。