[논문 리뷰] Solo-learn: A Library of Self-supervised Methods for Visual Representation Learning

Victor G. Turrisi da Costa, Enrico Fini외 3명|arXiv (Cornell University)|2021. 08. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 13인용 수 42

한 줄 요약

solo-learn은 시각 표현 학습을 위한 최첨단 자기지도 학습 방법의 표준화되고 재사용 가능한 구현을 제공하는 PyTorch 기반 오픈 소스 라이브러리로, 분산 학습, 빠른 데이터 로딩, 온라인 선형 평가, 확장 용이성 등의 기능을 제공합니다.

ABSTRACT

This paper presents solo-learn, a library of self-supervised methods for visual representation learning. Implemented in Python, using Pytorch and Pytorch lightning, the library fits both research and industry needs by featuring distributed training pipelines with mixed-precision, faster data loading via Nvidia DALI, online linear evaluation for better prototyping, and many additional training tricks. Our goal is to provide an easy-to-use library comprising a large amount of Self-supervised Learning (SSL) methods, that can be easily extended and fine-tuned by the community. solo-learn opens up avenues for exploiting large-budget SSL solutions on inexpensive smaller infrastructures and seeks to democratize SSL by making it accessible to all. The source code is available at https://github.com/vturrisi/solo-learn.

연구 동기 및 목표

• 시각 표현 학습을 위한 사용하기 쉽고 확장 가능한 자기지도 학습 방법 라이브러리 제공.
• 효율적인 파이프라인으로 더 작은 인프라에서도 학습이 가능하도록 SSL의 민주화를 추구.
• SSL 방법 간 공정하고 재현 가능한 비교를 가능하게 하는 표준화된 구현 제공.
• Detectron2 통합을 통한 객체 탐지와 같은 다운스트림 작업 지원.

제안 방법

• PyTorch로 12개의 최첨단 SSL 방법 구현: Barlow Twins, BYOL, DeepCluster V2, DINO, MoCo V2+, NNCLR, ReSSL, SimCLR, SimSiam, SwAV, VICReg, 및 W-MSE.
• 더 빠른 데이터 로딩을 위해 PyTorch Lightning, 분산 학습, 혼합 정밀도 및 Nvidia DALI를 사용한 모듈식 학습 파이프라인 구축.
• 신속한 프로토타이핑과 다운스트림 작업용 사전 학습 모델에 대한 쉬운 접근을 위한 온라인 선형 평가 제공.
• 자동 UMAP 시각화를 위한 유틸리티, ViT와 Swin을 포함한 다양한 백본, Detectron2와의 원활한 객체 탐지를 위한 통합 포함.
• 하이퍼파라미터를 조정하여 CIFAR-10, CIFAR-100, ImageNet-100에서 강한 온라인 평가 성능을 달성하도록 벤치마크 수행.

실험 결과

연구 질문

• RQ1 일원화되고 확장 가능한 라이브러리에서 구현될 때 최첨단 SSL 방법들은 어떻게 비교되는가?
• RQ2 SSL 파이프라인에서 DALI와 분산 학습을 사용할 때의 실용적 성능(정확도, 속도, 메모리) 영향은 무엇인가?
• RQ3 연구자와 실무자들이 더 작은 하드웨어에서 경쟁력 있는 결과를 유지하면서 SSL 모델을 효율적으로 프로토타이핑하고 배포할 수 있는가?
• RQ4 사전 학습된 SSL 특징이 Detectron2를 통한 객체 탐지와 같은 다운스트림 작업으로 얼마나 잘 전달되는가?

주요 결과

Method	CIFAR-10 Acc@1	CIFAR-10 Acc@5	CIFAR-100 Acc@1	CIFAR-100 Acc@5	ImageNet-100 Acc@1	ImageNet-100 Acc@5
Barlow Twins	92.10	99.73	70.90	91.91	80.38 (80.16)	95.28 (95.14)
BYOL	92.58	99.79	70.46	91.96	80.16 (80.32)	94.80 (94.94)
DeepCluster V2	88.85	99.58	63.61	88.09	75.36 (75.40)	93.22 (93.10)
DINO	89.52	99.71	66.76	90.34	74.84 (74.92)	92.92 (92.78)
MoCo V2+	92.94	99.79	69.89	91.65	78.20 (79.28)	95.50 (95.18)
NNCLR	91.88	99.78	69.62	91.52	79.80 (80.16)	95.28 (95.28)
ReSSL	90.63	99.62	65.92	89.73	76.92 (78.48)	94.20 (94.24)
SimCLR	90.74	99.75	65.78	89.04	77.04 (77.48)	94.02 (93.42)
SimSiam	90.51	99.72	66.04	89.62	74.54 (78.72)	93.16 (94.78)
SwAV	89.17	99.68	64.88	88.78	74.04 (74.28)	92.70 (92.84)
VICReg	92.07	99.74	68.54	90.83	79.22 (79.40)	95.06 (95.02)
W-MSE	88.67	99.68	61.33	87.26	67.60 (69.06)	90.94 (91.22)

• 이 라이브러리는 BYOL, DINO, VICReg, NNCLR 등을 포함한 12개의 SSL 방법을 구현하여 광범위하고 표준화된 테스트베드를 제공한다.
• CIFAR-10, CIFAR-100, ImageNet-100에서 온라인 선형 평가 결과가 보고되며 방법 간에 경쟁력 있는 정확도를 보인다(예: Barlow Twins: CIFAR-10 Acc@1 92.10, CIFAR-100 Acc@1 70.90, ImageNet-100 Acc@1 70.90).
• NVIDIA DALI를 사용하면 데이터 로딩 속도가 빨라지고 학습 속도에서도 큰 증가를 보인다(예: 표 2는 DALI 사용 여부에 따른 런타임 감소를 크게 보여준다).
• 프레임워크는 1~8개의 GPU에서의 효율적인 학습을 지원하여 더 작은 인프라에서의 실용적인 SSL 실험을 가능하게 한다.
• 재현성과 빠른 배포를 촉진하기 위해 사전 학습된 체크포인트가 공개적으로 제공된다.