[논문 리뷰] Masked Siamese Networks for Label-Efficient Learning

Mahmoud Assran, Mathilde Caron외 7명|arXiv (Cornell University)|2022. 04. 14.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

Masked Siamese Networks (MSN)는 자기지도 학습 프레임워크를 제안하며, 이는 마스킹된 이미지 뷰와 그에 대응하는 마스킹되지 않은 뷰에 대해 유사한 표현을 생성하도록 Vision Transformer를 훈련시켜 픽셀 수준의 재구성 없이도 학습한다. 이 방법은 레이블 효율적 학습에서 최고 성능을 기록하며, 이전 최고 성능(SOTA)보다 10배 작고, 레이블의 1%만 사용하여 ImageNet-1K에서 75.7%의 top-1 정확도를 달성한다.

ABSTRACT

We propose Masked Siamese Networks (MSN), a self-supervised learning framework for learning image representations. Our approach matches the representation of an image view containing randomly masked patches to the representation of the original unmasked image. This self-supervised pre-training strategy is particularly scalable when applied to Vision Transformers since only the unmasked patches are processed by the network. As a result, MSNs improve the scalability of joint-embedding architectures, while producing representations of a high semantic level that perform competitively on low-shot image classification. For instance, on ImageNet-1K, with only 5,000 annotated images, our base MSN model achieves 72.4% top-1 accuracy, and with 1% of ImageNet-1K labels, we achieve 75.7% top-1 accuracy, setting a new state-of-the-art for self-supervised learning on this benchmark. Our code is publicly available.

연구 동기 및 목표

• 저샷 이미지 분류에서 확장성과 성능을 향상시키는 자기지도 학습 방법을 개발하는 것.
• 마스킹된 자동에코딩에서 픽셀 수준이나 토큰 수준의 재구성 필요 없이도 의미적 표현 품질을 유지하는 것.
• 패치 마스킹을 통해 계산 및 메모리 비용을 줄여 Vision Transformer의 효율적인 사전 훈련을 가능하게 하는 것.
• 시각 불변성과 데이터 증강이 저샷 표현 학습에서 수행하는 역할을 조사하는 것.
• 명시적인 재구성 손실 없이도 공동 임베딩 아키텍처가 경쟁 가능한 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• MSN은 시앙식 아키텍처를 사용하며, 이미지의 한 뷰는 무작위로 마스킹되고(70%의 패치 제거), 다른 뷰는 그대로 유지된다.
• 모델은 양 뷰에 대해 동일한 표현을 생성하도록 훈련되며, 대조 손실을 사용하여 마스킹된 뷰의 표현 수준에서 암묵적으로 노이즈 제거된다.
• 에코더는 마스킹되지 않은 패치만 처리하는 Vision Transformer(ViT)이며, 사전 훈련 중 계산 비용을 크게 줄인다.
• 양 뷰에 대해 색상 왜곡, 자르기, 뒤집기, 흐림 등의 데이터 증강을 적용하여 색상 통계에 기반한 단순 학습을 방지한다.
• 사전 훈련은 무작위 마스킹을 적용한 전역 뷰와 대조 학습을 위한 추가적인 집중 뷰(작은 자르기)를 사용하며, 재구성 손실은 전혀 사용하지 않는다.
• 이 프레임워크는 확장 가능하다: 공격적인 마스킹은 메모리 사용을 줄이고 훈련 속도를 높여, 더 적은 GPU로도 사전 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 자기지도 학습 방법이 픽셀 수준의 재구성 없이도 고품질의 의미적 표현을 학습할 수 있는가?
• RQ2 저샷 이미지 분류에서 마스킹된 시앙식 학습은 마스킹된 자동에코딩보다 어떻게 비교되는가?
• RQ3 공격적인 패치 마스킹은 ViT 기반 아키텍처에서 훈련 효율성과 모델 확장성 향상에 기여하는가?
• RQ4 데이터 증강을 통한 시각 불변성이 저샷 일반화에 어떤 역할을 하는가?
• RQ5 공동 임베딩 아키텍처는 재구성 손실 없이도 레이블 효율적 학습에서 SOTA 성능을 달성할 수 있는가?

주요 결과

• 레이블의 1%만 사용(13,000장의 이미지)하여 ViT-B/4 모델을 사용한 MSN는 ImageNet-1K에서 75.7%의 top-1 정확도를 기록하며 새로운 SOTA를 수립했다.
• 단지 5,000장의 레이블 이미지만으로도 기본 MSN 모델은 72.4%의 top-1 정확도를 달성하여 뛰어난 저샷 성능을 보였다.
• 이전 SOTA 방법이 800M 파라미터가 필요로 했던 데 비해, MSN는 거의 10배 적은 파라미터를 사용하면서도 승리했다.
• 공격적인 마스킹(70% 패치 드롭아웃)으로 GPU 메모리 사용량이 26G에서 17G로 감소하고, 처리량은 415장에서 600장으로 초당 증가했다.
• 기준 뷰와 타겟 뷰에 서로 다른 증강 기법(색상 왜곡, 자르기, 뒤집기, 흐림)을 적용함으로써 1% ImageNet에서 정확도가 7.0%에서 52.3%로 상승했으며, 이는 시각 불변성의 중요성을 보여준다.
• 더 큰 모델은 더 높은 마스킹 비율에서 유리하다: ViT-L/16는 50% 마스킹에서 70.1%의 top-1 정확도를 기록했고, 공격적인 마스킹에서도 성능이 안정을 유지했다.