[논문 리뷰] Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet?

Nenad Tomašev, Ioana Bica외 5명|arXiv (Cornell University)|2022. 01. 13.

Domain Adaptation and Few-Shot Learning인용 수 16

한 줄 요약

이 논문은 배경 및 스타일과 같은 비의도적인 특징을 억제하기 위해 인도크티브 편향을 통합함으로써 ImageNet에서 ResNet 성능을 향상시키는 자기지도 학습 표현 학습 방법인 ReLIC v2를 제안한다. 사전적 마스킹, 다중 척도 데이터 증강, 그리고 대비 불변성 목표를 결합함으로써 ReLIC v2는 선형 평가 하에서 ResNet50에서 77.1%의 top-1 정확도를 달성하여 지도 학습을 뛰어넘고 레이블이 없는 자기지도 학습의 새로운 최고 기록을 수립한다.

ABSTRACT

Despite recent progress made by self-supervised methods in representation learning with residual networks, they still underperform supervised learning on the ImageNet classification benchmark, limiting their applicability in performance-critical settings. Building on prior theoretical insights from ReLIC [Mitrovic et al., 2021], we include additional inductive biases into self-supervised learning. We propose a new self-supervised representation learning method, ReLICv2, which combines an explicit invariance loss with a contrastive objective over a varied set of appropriately constructed data views to avoid learning spurious correlations and obtain more informative representations. ReLICv2 achieves $77.1\%$ top-$1$ accuracy on ImageNet under linear evaluation on a ResNet50, thus improving the previous state-of-the-art by absolute $+1.5\%$; on larger ResNet models, ReLICv2 achieves up to $80.6\%$ outperforming previous self-supervised approaches with margins up to $+2.3\%$. Most notably, ReLICv2 is the first unsupervised representation learning method to consistently outperform the supervised baseline in a like-for-like comparison over a range of ResNet architectures. Using ReLICv2, we also learn more robust and transferable representations that generalize better out-of-distribution than previous work, both on image classification and semantic segmentation. Finally, we show that despite using ResNet encoders, ReLICv2 is comparable to state-of-the-art self-supervised vision transformers.

연구 동기 및 목표

• 레이블을 사용하지 않고 ImageNet에서 자기지도 표현 학습이 지도 학습을 능가할 수 있는지 조사하기 위해.
• 배경 및 스타일과 같은 비의도적인 특징에 대한 의존도를 줄임으로써 대비 자기지도 학습 방법의 열악한 성능을 해결하기 위해.
• 데이터 증강 및 아키텍처 수정을 통해 인도크티브 편향을 도입함으로써 표현 품질과 일반화 능력을 향상시키기 위해.
• 이식 가능한 표현의 강건성과 다양한 최종 작업, 예를 들어 이미지 분류 및 의미 세그멘테이션에서의 이식 가능성 평가하기 위해.
• 레이블이 없는 조건에서 자기지도 학습 ResNet이 비전 트랜스포머의 성능을 따라하거나 능가할 수 있는지 확인하기 위해.

제안 방법

• ReLIC 기반으로 개선된 자기지도 학습 프레임워크인 ReLIC v2를 도입하며, 대비 손실과 불변성 손실을 결합한다.
• 전적으로 비지도 사전적 마스킹 파이프라인을 활용해 전경과 배경을 분리함으로써 비의도적인 배경 특징에 대한 의존도를 감소시킨다.
• 큰 크롭과 작은 크롭을 모두 사용하는 다중 척도 데이터 증강을 적용하여 차폐에 대한 강건성과 특징의 불변성 향상한다.
• 학습 안정화를 위해 지수 이동 평균(EMA) 타겟 네트워크를 사용하며, 아블레이션 분석을 통해 EMA 감쇠율이 0.9에서 0.996 사이일 때 강건함을 입증한다.
• 학습 중 사전적 마스크를 무작위로 마스킹하여 일반화 능력을 향상시키며, 중간 정도의 손상 상황에서도 성능이 안정적이다.
• 작업 배치에서 무작위 샘플링을 통해 음성 예제를 선택하여 잘못된 음성 예제를 방지하며, 최적의 성능을 내기 위해 10개의 음성 예제를 사용한다.

실험 결과

연구 질문

• RQ1 레이블을 사용하지 않고 자기지도 표현 학습이 ImageNet에서 지도 학습을 능가할 수 있는가?
• RQ2 배경 및 스타일과 같은 비의도적인 특징을 억제하면 자기지도 학습의 표현 품질이 향상되는가?
• RQ3 다중 척도 데이터 증강은 자기지도 학습 ResNet의 강건성과 일반화에 어떤 영향을 미치는가?
• RQ4 레이블이 없는 조건에서 자기지도 학습 ResNet이 최고 수준의 비전 트랜스포머와 유사한 성능을 낼 수 있는가?
• RQ5 EMA 감쇠율과 음성 예제 수와 같은 하이퍼파rameter에 대해 ReLIC v2는 얼마나 민감한가?

주요 결과

• ReLIC v2는 선형 평가 하에서 ResNet50을 사용해 ImageNet에서 77.1%의 top-1 정확도를 달성하여 이전 자기지도 학습 최고 기록을 +1.5% 초월한다.
• 더 큰 ResNet 모델에서는 ReLIC v2가 최대 80.6%의 top-1 정확도를 기록하며, 이는 이전 자기지도 학습 방법보다 최대 +2.3% 향상된 성능이다.
• 이 방법은 여러 ResNet 아키텍처에 걸쳐 일관되게 지도 학습을 능가하는 첫 번째 자기지도 학습 방법이다.
• 기존 연구 대비 분포 외부 일반화 능력이 뛰어나며, 이미지 분류 및 의미 세그멘테이션 모두에서 강건성이 향상됨을 보였다.
• 손상된 사전적 마스크(예: 사각형 추가) 조건에서도 ReLIC v2는 강력한 성능(74.5% top-1)을 유지하며 마스크 결함에 대한 강건성을 보였다.
• 하이퍼파ram터 선택에 대해 강건하다: EMA 감쇠율이 0.9에서 0.996 사이일 때 유사한 성능를 기록하며, 최적의 음성 샘플링은 오직 10개의 음성 예제로도 충분하다.