[논문 리뷰] Adapting Self-Supervised Vision Transformers by Probing Attention-Conditioned Masking Consistency

Viraj Prabhu, Sriram Yenamandra외 2명|arXiv (Cornell University)|2022. 06. 16.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 자기지도 학습(SSL)을 통해 사전 훈련된 비전 트랜스포머(ViTs)를 위한 이중단계 도메인 적응 방법인 PACMAC를 제안한다. 먼저 소스 및 타겟 데이터에서 도메인 내 SSL을 수행한 후, 주의 조건화 마스크를 통한 예측 일관성에 의해 신뢰할 수 있는 타겟 샘플을 식별한다. 이로 인해 OfficeHome, DomainNet, VisDA 벤치마크에서 기존 방법보다 일관된 정확도 향상을 달성한다.

ABSTRACT

Visual domain adaptation (DA) seeks to transfer trained models to unseen, unlabeled domains across distribution shift, but approaches typically focus on adapting convolutional neural network architectures initialized with supervised ImageNet representations. In this work, we shift focus to adapting modern architectures for object recognition -- the increasingly popular Vision Transformer (ViT) -- and modern pretraining based on self-supervised learning (SSL). Inspired by the design of recent SSL approaches based on learning from partial image inputs generated via masking or cropping -- either by learning to predict the missing pixels, or learning representational invariances to such augmentations -- we propose PACMAC, a simple two-stage adaptation algorithm for self-supervised ViTs. PACMAC first performs in-domain SSL on pooled source and target data to learn task-discriminative features, and then probes the model's predictive consistency across a set of partial target inputs generated via a novel attention-conditioned masking strategy, to identify reliable candidates for self-training. Our simple approach leads to consistent performance gains over competing methods that use ViTs and self-supervised initializations on standard object recognition benchmarks. Code available at https://github.com/virajprabhu/PACMAC

연구 동기 및 목표

• 자기지도 학습(SSL)으로 초기화된 비전 트랜스포머(ViTs)를 위한 비지도 도메인 적응(UDA)에 대한 격차를 해소하기 위해.
• 라벨이 없는 환경에서 선택적 자기학습에 적합한 고품질 타겟 샘플을 식별하기 위한 신뢰할 수 있는 자기지도 방법을 개발하기 위해.
• SSL 사전훈련의 인덕티브 바이어스와 ViT 주의 메커니즘을 활용하여 표준 객체 인식 벤치마크에서 전이 성능을 향상시키기 위해.
• 주의 조건화 마스크된 입력 간의 예측 일관성이 ViT에서 자기학습을 위한 효과적인 신뢰도 신호가 될 수 있음을 보여주기 위해.
• 자기지도 학습으로 초기화된 ViT에 표준 도메인 적대적 방법이 실패함을 보여주며, 이는 아키텍처 특화의 적응 전략이 필요함을 시사하기 위해.

제안 방법

• 적응 이전에 작업 구분 특징을 학습하기 위해 풀링된 소스 및 타겟 데이터에서 도메인 내 자기지도 학습(SSL)을 수행한다.
• 데이터 증강을 위해 타겟 이미지의 서로 다른, 고도로 주목된 영역을 생성하기 위해 주의 조건화 마스크를 적용한다.
• 원본 이미지와 여러 개의 주의 조건화 마스크된 버전 간의 모델 예측 일관성을 측정하여 신뢰도를 평가한다.
• 일관성 점수와 예측 신뢰도를 조합하여 선택적 자기학습을 위한 신뢰할 수 있는 타겟 샘플을 식별한다.
• 이중단계 파ip라인을 사용한다: 먼저 도메인 내 사전훈련을 수행하고, 그 다음 높은 신뢰도와 일관성 있는 예측에 기반해 타겟 데이터를 선택적 자기학습한다.
• ViT의 자기주의 주의 메커니즘을 활용해 마스크를 유도함으로써, 무작위 패치가 아닌 의미적으로 중요한 영역에 집중하도록 보장한다.

실험 결과

연구 질문

• RQ1 주의 조건화 마스크된 입력 간의 예측 일관성이 자기지도 학습된 ViT에서 고품질 타겟 샘플을 식별하는 데 신뢰할 수 있는 신호가 될 수 있는가?
• RQ2 표준 도메인 적대적 UDA 방법이 자기지도 학습으로 사전훈련된 ViT에 적용되었을 때 실패하는 이유는 무엇인가?
• RQ3 풀링된 소스 및 타겟 데이터에서 도메인 내 SSL 사전훈련이 ViT에서 특징의 구분 능력과 적응 성능을 향상시키는가?
• RQ4 주의 조건화 마스크와 무작위 마스크를 비교했을 때, 어떤 것이 자기학습을 위한 신뢰할 수 있는 샘플을 식별하는 데 더 효과적인가?
• RQ5 자기지도 학습된 ViT를 사용할 때, 복잡한 도메인 적응 방법보다 단순하고 모듈화된 적응 전략이 표준 벤치마크에서 더 우수한 성능을 내는가?

주요 결과

• PACMAC는 자기지도 학습된 ViT를 적응시킬 때 OfficeHome, DomainNet, VisDA 벤치마크에서 경쟁 방법들보다 일관된 성능 향상을 달성한다.
• 주의 조건화 마스크 일관성에 기반한 제안된 신뢰도 추정은 MAE 및 DINO 사전훈련 설정 모두에서 70–80%의 정밀도를 달성한다.
• 도메인 내 사전훈련은 특히 MAE 초기화에서, OfficeHome에서의 클래스별 kNN 정확도를 향상시켜 더 나은 특징 구분 능력을 나타낸다.
• 자기지도 학습으로 초기화된 ViT는 낮은 도메인 정렬 점수(DA 점수)를 보이며, 이는 CDAN과 같은 도메인 적대적 방법이 이러한 모델에서 실패하는 이유를 설명한다.
• 자기학습을 위한 타겟 인스턴스의 선택 비율은 훈련 에포크가 진행될수록 증가하며, 특히 DINO 사전훈련에서 두드러진다.
• 신뢰도 추정의 실패 사례로는 가짜 양성과 가짜 음성 사례가 있으며, 이는 성능이 카테고리에 따라 변동성이 있음을 시사한다.