[논문 리뷰] On the Importance of Hyperparameters and Data Augmentation for Self-Supervised Learning

Diane R. Wagner, Fábio Furlan Ferreira외 4명|arXiv (Cornell University)|2022. 07. 16.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 하이퍼파라미터와 데이터 증강이 자기지도 학습(SSL) 성능에 결정적인 영향을 미친다는 것을 입증한다. 특히 SimSiam에서 그러한 영향이 두드러진다. 저자들은 베이지안 최적화를 사용하여 CIFAR-10, CIFAR-100, DermaMNIST에서 하이퍼파라미터와 증강 전략을 최적화하고, 그룹화된 증강을 최적화하는 새로운 자동 데이터 증강 방법인 GroupAugment를 제안한다. 이는 모든 데이터셋에서 최신 기술 수준의 선형 평가 정확도를 달성하며, 기준 모델 및 기존의 지도 학습 기반 증강 알고리즘을 모두 능가한다.

ABSTRACT

Self-Supervised Learning (SSL) has become a very active area of Deep Learning research where it is heavily used as a pre-training method for classification and other tasks. However, the rapid pace of advancements in this area comes at a price: training pipelines vary significantly across papers, which presents a potentially crucial confounding factor. Here, we show that, indeed, the choice of hyperparameters and data augmentation strategies can have a dramatic impact on performance. To shed light on these neglected factors and help maximize the power of SSL, we hyperparameterize these components and optimize them with Bayesian optimization, showing improvements across multiple datasets for the SimSiam SSL approach. Realizing the importance of data augmentations for SSL, we also introduce a new automated data augmentation algorithm, GroupAugment, which considers groups of augmentations and optimizes the sampling across groups. In contrast to algorithms designed for supervised learning, GroupAugment achieved consistently high linear evaluation accuracy across all datasets we considered. Overall, our results indicate the importance and likely underestimated role of data augmentation for SSL.

연구 동기 및 목표

• 자기지도 학습(SSL) 성능에 하이퍼파라미터와 데이터 증강이 미치는 영향을 조사하는 것.
• 모델 붕괴를 유발하기 쉬운 하이퍼파라미터와 성능에 가장 큰 영향을 주는 하이퍼파라미터를 규명하는 것.
• 지도 학습을 위해 설계된 기존 접근법의 한계를 보완하기 위해 SSL에 특화된 자동 데이터 증강 방법을 개발하는 것.
• 수동적인 직관이 부족한 상황에서도 최적화된 데이터 증강이 선형 평가 정확도를 크게 향상시킬 수 있음을 보여주는 것.
• 표준 설정보다 뛰어난 성능을 보이는 체계적인 하이퍼파라미터 최적화 기반의 기준 모델을 제공하는 것.

제안 방법

• 저자들은 SimSiam SSL 프레임워크의 하이퍼파라미터와 데이터 증강 전략을 탐색하기 위해 전문가 사전 지식을 활용한 베이지안 최적화를 사용한다.
• 학습률, 가중치 감쇠, 옵티마이저, 그리고 색상 조정, 가우시안 블러, 일광 조명 등의 데이터 증강 하이퍼파라미터를 포함한 검색 공간을 정의한다.
• GroupAugment는 그룹화된 증강을 최적화하는 새로운 자동 데이터 증강 알고리즘으로, 그룹별 샘플링 확률, 그룹당 증강 수, 총 증강 수를 포함한다.
• 기존의 접근법을 일반화하여 유연한 증강 그룹화를 허용하고, SelfAugment와 달리 증강 집합에 대한 제약 조건을 갖지 않는다.
• GroupAugment는 다양한 증강 정책을 탐색하기 위해 베이지안 최적화를 사용하며, 수동으로 설계된 SSL 전략과 유사한 조합을 포함한다.
• 저자들은 동일한 계산 예산 내에서 GroupAugment를 표준 지도 학습 기반 증강 알고리즘(RandAugment, TrivialAugment 등)과 Tuned SimSiam 증강 전략과 비교한다.

실험 결과

연구 질문

• RQ1 하이퍼파라미터와 데이터 증강 전략은 SimSiam과 같은 자기지도 학습 모델의 성능에 어떻게 영향을 미치는가?
• RQ2 잘못 설정되었을 때 모델 붕괴를 유발하기 쉬운 하이퍼파라미터는 무엇인가?
• RQ3 지도 학습을 위해 설계된 자동 데이터 증강이 자기지도 학습에 효과적으로 이식될 수 있는가, 아니면 다른 전략이 필요한가?
• RQ4 자동 탐색을 통한 데이터 증강 최적화가 SSL에서 다양한 데이터셋에 걸쳐 일관된 성능 향상을 이끌 수 있는가?
• RQ5 그룹화된 증강을 고려하는 새로운 자동 증강 방법이, 표준 및 최적화된 기준 증강 전략보다 SSL에서 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• GroupAugment는 모든 세 가지 데이터셋에서 가장 높은 선형 평가 정확도를 기록했다: CIFAR-10에서 93.0% ± 0.1, DermaMNIST에서 68.0% ± 0.3, CIFAR-100에서 66.3% ± 0.4로, 기준 SimSiam 및 모든 다른 증강 방법을 능가했다.
• 표준 지도 학습 기반 증강 알고리즘(RandAugment 등)을 SSL에 적용하면 대부분의 데이터셋에서 성능이 떨어졌으며, CIFAR-100 정확도는 59.3% ± 0.5로 감소했다.
• GroupAugment와 동일한 계산 예산 내에서 SimSiam 증강 전략을 최적화하면 CIFAR-10에서 92.7% ± 0.1, CIFAR-100에서 67.9% ± 0.3로 성능 향상이 있었지만, GroupAugment가 여전히 승리했다.
• 이 연구는 데이터 증강이 SSL에서 중요한 요소이며, 종종 간과되기 쉬운 요소임을 확인한다. 최적화된 전략은 표준 또는 수동으로 설계된 전략보다 상당한 성능 향상을 이룬다.
• 하이퍼파라미터와 증강을 위한 베이지안 최적화가 모든 데이터셋에서 일관된 성능 향상을 이끌어내어, SSL에서 체계적인 하이퍼파라미터 탐색의 가치를 입증한다.
• GroupAugment는 수동으로 설계된 SSL 전략과 유사한 증강 전략을 성공적으로 발견하여, 다양한 데이터 분포 간의 일반화 능력을 입증한다.