[論文レビュー] Adapting Self-Supervised Vision Transformers by Probing Attention-Conditioned Masking Consistency

Viraj Prabhu, Sriram Yenamandra+2 more|arXiv (Cornell University)|Jun 16, 2022

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿では、自己教師あり学習（SSL）で事前学習されたビジョントランスフォーマー（ViT）向けの二段階的ドメイン適応手法PACMACを提案する。まず、ソースおよびターゲットデータに対してドメイン内SSLを実行し、次にアテンションに依存するマスクを通じて予測の一貫性を用いて信頼性の高いターゲットサンプルを同定する。その結果、OfficeHome、DomainNet、VisDAベンチマークにおいて、先行手法を上回る一貫した精度向上が達成された。

ABSTRACT

Visual domain adaptation (DA) seeks to transfer trained models to unseen, unlabeled domains across distribution shift, but approaches typically focus on adapting convolutional neural network architectures initialized with supervised ImageNet representations. In this work, we shift focus to adapting modern architectures for object recognition -- the increasingly popular Vision Transformer (ViT) -- and modern pretraining based on self-supervised learning (SSL). Inspired by the design of recent SSL approaches based on learning from partial image inputs generated via masking or cropping -- either by learning to predict the missing pixels, or learning representational invariances to such augmentations -- we propose PACMAC, a simple two-stage adaptation algorithm for self-supervised ViTs. PACMAC first performs in-domain SSL on pooled source and target data to learn task-discriminative features, and then probes the model's predictive consistency across a set of partial target inputs generated via a novel attention-conditioned masking strategy, to identify reliable candidates for self-training. Our simple approach leads to consistent performance gains over competing methods that use ViTs and self-supervised initializations on standard object recognition benchmarks. Code available at https://github.com/virajprabhu/PACMAC

研究の動機と目的

• 自己教師あり表現で初期化されたビジョントランスフォーマー（ViT）を、教師なしドメイン適応（UDA）に適応するためのギャップを解消すること。
• ラベルのない環境下で、選択的自己学習に適した高品質なターゲットサンプルを特定する、信頼性の高い自己教師あり手法を開発すること。
• SSL事前学習のインダクティブバイアスとViTのアテンションメカニズムを活用することで、標準的な物体認識ベンチマークにおける転移性能を向上させること。
• アテンションに依存するマスクを施した入力の間で予測の一貫性が、ViTにおける自己学習のための有効な信頼性信号であることを示すこと。
• 自己教師あり学習で初期化されたViTに対して、標準的なドメイン対抗型手法が失敗することを示し、アーキテクチャに特化した適応戦略の必要性を明らかにすること。

提案手法

• 適応の前段階として、プールドされたソースおよびターゲットデータに対してドメイン内自己教師あり学習（SSL）を実行し、タスクに特化した特徴を学習する。
• アテンションに依存するマスクを適用して、ターゲット画像の不重複で高頻度の領域を生成し、データ拡張に用いる。
• 元の画像と複数のアテンションに依存するマスクを施したバージョンの間でモデルの予測の一貫性を測定し、信頼性を評価する。
• 一貫性スコアと予測の信頼度を組み合わせ、選択的自己学習に適した信頼性の高いターゲットサンプルを同定する。
• 二段階パイプラインを採用：まずドメイン内事前学習を行い、次に高信頼度かつ一貫性のある予測に基づく選択的自己学習を実施する。
• ViTの自己アテンションメカニズムを活用してマスクをガイドし、ランダムなパッチではなく意味的に顕著な領域に注目させる。

実験結果

リサーチクエスチョン

• RQ1 アテンションに依存するマスクを施した入力の間で予測の一貫性は、自己教師ありViTにおける高品質なターゲットサンプルを同定する信頼性の高い信号として機能するか？
• RQ2 自己教師あり学習で事前学習されたViTに標準的なドメイン対抗型UDA手法を適用すると、なぜ失敗するのか？
• RQ3 プールドされたソースおよびターゲットデータに対してドメイン内SSL事前学習を施すことで、ViTにおける特徴の判別性と適応性能が向上するか？
• RQ4 アテンションに依存するマスクとランダムマスクを比較した場合、自己学習に適した信頼性の高いサンプルを同定する能力に差は生じるか？
• RQ5 自己教師ありViTを用いた場合、シンプルでモジュール式の適応戦略が、複雑なドメイン適応手法を上回る性能を示せるか？

主な発見

• PACMACは、自己教師ありViTを適応させる際、OfficeHome、DomainNet、VisDAベンチマークにおいて、競合手法を常に上回る性能向上を達成した。
• アテンションに依存するマスクの一貫性に基づく信頼性推定は、MAEおよびDINOの両事前学習設定で70–80％の精度を達成した。
• ドメイン内事前学習により、特にMAE初期化時において、OfficeHomeにおけるクラスごとのkNN精度が向上し、特徴の判別性が向上したことが示された。
• 自己教師あり学習で初期化されたViTは低ドメイン整合スコア（DAスコア）を示し、これがCDANのようなドメイン対抗型手法がそのようなモデルで失敗する理由を説明している。
• 自己学習の対象となるターゲットインスタンスの割合は、訓練エポックが進むにつれて増加し、特にDINO初期化時において顕著であった。
• 信頼性推定の失敗事例には、誤検出（偽陽性）と見逃し（偽陰性）が含まれており、性能がカテゴリに依存して変動することを示している。