[논문 리뷰] Masked Siamese ConvNets

Jing Li, Jiachen Zhu외 1명|arXiv (Cornell University)|2022. 06. 15.

Domain Adaptation and Few-Shot Learning인용 수 15

한 줄 요약

이 논문은 마스킹 증강 기법으로 인해 발생하는 핵심 문제들—예를 들어 유령 경계, 특징 불균형, 감소된 학습 신호—를 해결함으로써 컨볼루션 네트워크(ConvNets)를 활용한 효과적인 자기지도 학습 표현 학습을 가능하게 하는 마스킹 시앙세이 컨볼루션 네트워크(MSCN)를 제안한다. 공간-채널 마스킹, 최적의 마스킹 비율, 뷰 공유 전략 등의 체계적 설계 개선을 통해 MSCN는 ImageNet-1K에서 67.6%의 선형 프로브 정확도를 달성하고, 객체 검출 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

Self-supervised learning has shown superior performances over supervised methods on various vision benchmarks. The siamese network, which encourages embeddings to be invariant to distortions, is one of the most successful self-supervised visual representation learning approaches. Among all the augmentation methods, masking is the most general and straightforward method that has the potential to be applied to all kinds of input and requires the least amount of domain knowledge. However, masked siamese networks require particular inductive bias and practically only work well with Vision Transformers. This work empirically studies the problems behind masked siamese networks with ConvNets. We propose several empirical designs to overcome these problems gradually. Our method performs competitively on low-shot image classification and outperforms previous methods on object detection benchmarks. We discuss several remaining issues and hope this work can provide useful data points for future general-purpose self-supervised learning.

연구 동기 및 목표

• 표준 컨볼루션 네트워크 백본과 함께 사용할 때 마스킹 시앙세이 네트워크가 효과적으로 작동하지 못하는 근본 원인을 규명하고 이를 해결하기 위한 것이다.
• 다양한 비전 작업에 적용 가능한 일반 목적의, 도메인 지식이 없는 마스킹 기반 증강 전략을 개발하기 위한 것이다.
• 컨볼루션 네트워크를 위한 마스킹 전략을 체계적으로 개선하여 저샷 이미지 분류 및 객체 검출의 최종 성능을 향상시키기 위한 것이다.
• 자기지도 학습에서 트랜스포머 아키텍처가 아닌 비트랜스포머 아키텍처에 마스킹을 적용하기 위한 경험적 통찰과 설계 원칙을 제공하기 위한 것이다.

제안 방법

• 유령 경계 효과를 줄이고 특징 다양성을 유지하기 위해 공간, 채널, 매크로 설계 차원을 아우르는 다수준 마스킹 전략을 도입한다.
• 두 개의 서로 다른 뷰에서 표준 데이터 증강(예: 무작위 컷, 색상 왜곡 등) 이후에 마스킹을 적용하여, 마스킹되지 않은 영역에 기반한 표면적인 해법을 방지한다.
• 로컬 및 글로벌 특징 학습 간 균형을 유지하기 위해 마스킹 비율과 격자 크기를 최적화하며, 실험 결과 20–25%의 마스킹 비율과 큰 격자 크기(예: 28×28)에서 최적 성능를 확보함을 확인했다.
• 동일한 이미지의 두 마스킹 뷰 간의 대비 학습 목표를 적용하여, 마스킹에도 불구하고 표현이 불변(invariant)이 되도록 모델을 학습시킨다.
• 100 에포크 동안 ImageNet-1K에서 ResNet-50을 사용한 학습 프로토콜을 구현하고, 표현 품질 평가를 위해 선형 평가 프로토콜을 활용한다.
• 설계 선택 사항(예: 뷰 공유, 마스킹 순서)을 체계적으로 분석(ablation)하여 각 구성 요소의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 비록 비전 트랜스포머(Vision Transformers)에서는 성공했지만, 왜 표준 컨볼루션 네트워크 백본과 함께 사용할 때 마스킹 시앙세이 네트워크가 실패하는가?
• RQ2 마스킹으로 인한 유령 경계는 컨볼루션 네트워크의 특징 학습을 어떻게 왜곡하고, 컨볼루션 커널의 성능을 어떻게 억제하는가?
• RQ3 어떤 마스킹 전략이 컨볼루션 네트워크 기반 시앙세이 네트워크의 표현 품질을 복원하고 최종 성능을 향상시킬 수 있는가?
• RQ4 도메인 특화 증강에 의존하지 않고도 마스킹 기반 증강 전략이 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 마스킹 비율과 격자 크기는 컨볼루션 네트워크에서 로컬 및 글로벌 특징 학습 간 균형에 어떤 영향을 미치는가?

주요 결과

• 표준 컨볼루션 네트워크를 사용하는 마스킹 시앙세이 네트워크는 마스킹으로 인한 유령 경계, 특징 불균형, 감소된 학습 신호로 인해 실패한다.
• 제안된 MSCN 방법은 ImageNet-1K에서 67.6%의 선형 프로브 정확도를 달성하며, 마스킹되지 않은 베이스라인보다 1.0% 높은 성능을 기록한다.
• 마스킹 비율 0.20–0.25가 최적의 성능를 보이며, 마스킹 비율이 0.50까지도 안정적인 성능 유지가 가능하다.
• 큰 마스킹 격자 크기(예: 28×28)가 컨볼루션 네트워크에 최적임을 확인하였으며, 이는 비전 트랜스포머(ViTs)에서 일반적으로 사용되는 작은 패치와 대조된다.
• 같은 증강 뷰에 마스킹을 적용하는 뷰 공유 전략은 성능에 치명적인 하락(29.1%로 감소)을 초래함으로써, 서로 다른 뷰가 필요함을 확인한다.
• 이 방법은 잘 일반화되며, 이전 방법들을 능가하는 객체 검출 벤치마크 성능과 강력한 저샷 분류 성능을 보여준다.