[논문 리뷰] Solo-learn: A Library of Self-supervised Methods for Visual Representation Learning

Victor G. Turrisi da Costa, Enrico Fini외 3명|arXiv (Cornell University)|2021. 08. 03.

Domain Adaptation and Few-Shot Learning인용 수 61

한 줄 요약

solo-learn은 시각 표현 학습을 위한 최첨단 자가지도 학습(SSL) 방법의 대규모 컬렉션을 구현한 분산 훈련, 빠른 데이터 로딩, 온라인 선형 평가 및 쉬운 확장성을 제공하는 오픈 소스 PyTorch 기반 라이브러리입니다.

ABSTRACT

This paper presents solo-learn, a library of self-supervised methods for visual representation learning. Implemented in Python, using Pytorch and Pytorch lightning, the library fits both research and industry needs by featuring distributed training pipelines with mixed-precision, faster data loading via Nvidia DALI, online linear evaluation for better prototyping, and many additional training tricks. Our goal is to provide an easy-to-use library comprising a large amount of Self-supervised Learning (SSL) methods, that can be easily extended and fine-tuned by the community. solo-learn opens up avenues for exploiting large-budget SSL solutions on inexpensive smaller infrastructures and seeks to democratize SSL by making it accessible to all. The source code is available at https://github.com/vturrisi/solo-learn.

연구 동기 및 목표

• 시각 표현 학습을 위한 최첨단 SSL 방법의 광범위한 집합을 구현하는 재사용 가능하고 모듈식인 라이브러리 제공.
• 표준화된 구현, 빠른 데이터 로딩, 온라인 선형 평가를 제공함으로써 실험의 용이성과 재현성을 높인다.
• 더 작은 예산을 가진 연구자들이 방법을 효율적으로 훈련하고 비교할 수 있도록 SSL의 대중화를 촉진한다.
• 하류 과제 및 사전 학습 모델 사용을 위한 유틸리티를 통합하여 프로토타이핑과 배포를 가속화한다.

제안 방법

• PyTorch로 13개의 SSL 방법을 구현: Barlow Twins, BYOL, DeepCluster V2, DINO, MoCo V2+, NNCLR, ReSSL, SimCLR, Supervised Contrastive Learning, SimSiam, SwAV, VICReg, 및 W-MSE.
• 매개변수 처리용 solo.args, SSL 방법용 solo.methods, 손실 함수용 solo.losses, 데이터 처리 및 증강 파이프라인용 solo.utils, 분산형 혼합 정밀도 학습용 PyTorch Lightning 트레이너 등 분리된 컴포넌트로 모듈형 파이프라인을 설계했다.
• 빠른 데이터 로딩을 위해 Nvidia DALI를 활용하고 혼합 정밀도 및 온라인 선형 평가를 지원하여 빠른 프로토타이핑을 가능하게 한다.
• 사전 학습된 모델을 제공하고 DetectronV2와의 손쉬운 통합으로 하류 객체 탐지 과제를 지원한다.
• CIFAR-10, CIFAR-100, 및 ImageNet-100에서 SSL 방법들을 벤치마킹하고, 여러 방법에 대해 하이퍼파라미터 튜닝으로 경쟁력 있는 성능을 달성했다.
• VISSL 및 Lightly와 비교하여 더 현대적인 방법 지원, 더 적은 자원으로의 훈련, 자동 UMAP 시각화와 같은 추가 유틸리티를 강조한다.

실험 결과

연구 질문

• RQ1 하나의 통합되고 확장 가능한 라이브러리가 광범위한 SSL 방법 간의 공정하고 재현 가능한 비교를 가능하게 할 수 있는가?
• RQ2 현대식 데이터 로더(Nvidia DALI)와 혼합 정밀도/분산 학습을 사용했을 때, 보통의 하드웨어에서 SSL 작업의 실용적 이점(속도, 메모리, 사용성)은 무엇인가?
• RQ3 표준 벤치마크(CIFAR-10/100, ImageNet-100)에서 온라인 선형 평가 시 현대적 SSL 방법들의 성능은 어떠하며 기존 라이브러리와 어떤 차이가 있는가?
• RQ4 solo-learn의 사전 학습된 SSL 모델을 DetectronV2를 통한 객체 탐지와 같은 하류 작업에 쉽게 사용할 수 있는가?

주요 결과

• solo-learn은 PyTorch에서 13개의 SSL 방법에 대한 표준화된 구현을 제공하여 재현성과 비교를 더 쉽게 한다.
• 분산 학습, 혼합 정밀도 지원, Nvidia DALI를 이용한 빠른 데이터 로딩 및 프로토타이핑 속도를 높이는 온라인 선형 평가를 제공한다.
• 벤치마크 결과는 CIFAR-10, CIFAR-100, ImageNet-100에서 여러 방법에 대해 경쟁력 있는 온라인 선형 평가 정확도를 보이며, 원래 보고서 대비 성능 향상을 위해 하이퍼파라미터를 조정했다.
• 관련 라이브러리(VISSL, Lightly)와 비교하여 더 현대적인 SSL 방법을 지원하고 더 작은 GPU 예산을 가진 연구자를 대상으로 하며 자동 선형 평가와 UMAP 시각화 등 추가 유틸리티를 제공한다.
• 실험은 또한 ImageNet-100에서 데이터 로딩에 DALI를 사용할 때 더 빠른 학습 속도와 감소된 메모리 사용량을 보여준다.