[논문 리뷰] Transfer Learning or Self-supervised Learning? A Tale of Two Pretraining Paradigms

Xingyi Yang, Xuehai He외 4명|arXiv (Cornell University)|2020. 06. 19.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 다양한 데이터 및 작업 성질에 대해 자기지도학습(self-supervised learning, SSL)과 전이학습(transfer learning, TL) 간의 종합적인 실험적 비교를 수행한다. 연구 결과, 도메인 이탈이 크거나 사전학습 데이터가 제한적인 경우 SSL이 TL을 능가하며, 대규모이고 균형 잡힌 소스 데이터셋과 작은 도메인 갭이 존재할 경우 TL이 더 우수한 성능을 보인다. 본 연구는 애플리케이션 특성에 맞는 사전학습 방법 선택을 위한 실질적인 지침을 제공한다.

ABSTRACT

Pretraining has become a standard technique in computer vision and natural language processing, which usually helps to improve performance substantially. Previously, the most dominant pretraining method is transfer learning (TL), which uses labeled data to learn a good representation network. Recently, a new pretraining approach -- self-supervised learning (SSL) -- has demonstrated promising results on a wide range of applications. SSL does not require annotated labels. It is purely conducted on input data by solving auxiliary tasks defined on the input data examples. The current reported results show that in certain applications, SSL outperforms TL and the other way around in other applications. There has not been a clear understanding on what properties of data and tasks render one approach outperforms the other. Without an informed guideline, ML researchers have to try both methods to find out which one is better empirically. It is usually time-consuming to do so. In this work, we aim to address this problem. We perform a comprehensive comparative study between SSL and TL regarding which one works better under different properties of data and tasks, including domain difference between source and target tasks, the amount of pretraining data, class imbalance in source data, and usage of target data for additional pretraining, etc. The insights distilled from our comparative studies can help ML researchers decide which method to use based on the properties of their applications.

연구 동기 및 목표

• 실제 응용에서 자기지도학습(SSL)과 전이학습(TL) 중 어떤 것을 선택할지에 대한 명확한 지침이 부족한 문제를 해결하기 위해.
• 도메인 차이, 사전학습 데이터 크기, 클래스 불균형, 타겟 데이터 사용 여부 등 데이터 및 작업 성질이 SSL과 TL의 상대적 성능에 미치는 영향을 조사하기 위해.
• 응용 분야의 조건에 따라 최적의 사전학습 패러다임을 선택하는 데 도움이 되는 데이터 기반 실천 지침을 머신러닝 연구자들에게 제공하기 위해.
• 실험적 시도-오류의 필요성을 줄이기 위해, 한 가지 방법이 다른 방법보다 유리한 체계적 요인을 식별하기 위해.

제안 방법

• 자연 이미지, 의료 영상, 경관 인식 등 다양한 도메인을 포함한 5개의 소스 작업과 4개의 타겟 작업에서 통제된 실험을 수행하였다.
• 도메인 차이, 사전학습 데이터 양, 소스 데이터의 클래스 불균형, 타겟 데이터를 추가 사전학습에 사용할지 여부의 네 가지 핵심 요인을 체계적으로 변화시켰다.
• 표준 평가 프로토콜을 사용: 소스 데이터로 사전학습한 후 타겟 데이터로 미세조정하여 모든 조합의 정확도를 측정하였다.
• 동일한 네트워크 아키텍처와 학습 절차에서 SSL(MoCo 기반의 대비 학습 등)과 TL(감독 기반 사전학습)을 비교하였다.
• 극단적인 클래스 불균형과 도메인 이탈 조건에서도 성능 안정성을 평가하였다.
• 소스 데이터와 타겟 데이터의 조합된 데이터로 사전학습한 성능을 소스 데이터 전용 및 타겟 데이터 전용 사전학습과 비교 분석하였다.

실험 결과

연구 질문

• RQ1 자기지도학습(SSL)이 전이학습(TL)을 능가하고, 그 반대의 경우가 성립하는 조건은 무엇인가?
• RQ2 소스 작업과 타겟 작업 간의 도메인 차이가 SSL과 TL의 상대적 성능에 미치는 영향은 어떠한가?
• RQ3 사전학습 데이터의 양이 SSL과 TL의 상대적 효과성에 미치는 영향는 어떠한가?
• RQ4 SSL과 TL은 소스 데이터셋의 클래스 불균형에 얼마나 민감한가?
• RQ5 타겟 작업 데이터를 추가 사전학습에 사용하면 성능 향상이 이루어지며, 이 효과는 SSL과 TL 간에 다를까?

주요 결과

• 소스 작업과 타겟 작업 간 도메인 차이가 클 경우 SSL이 TL을 능가하며, 도메인 차이가 작을 경우 TL가 더 우수한 성능을 보인다.
• 사전학습 데이터가 소규모일 경우 SSL이 TL을 능가하며, 대규모일 경우 TL이 SSL을 능가한다.
• SSL은 도메인 차이 변화에 대해 더 안정적인 성능를 보이며, TL은 높은 도메인 이탈 조건에서 성능가 급격히 하락하는 경향이 있다.
• 작은 도메인 차이 조건에서 SSL은 사전학습 데이터 양의 변화에 대해 TL보다 덜 민감하며, TL은 데이터 양 변화에 따라 성능 변동이 크다.
• SSL은 클래스 불균형에 더 강건하다: COVID-CT 작업에서 불균형 비율에 따른 성능 격차는 SSL은 4.3% (절대값), TL은 6.5%이다.
• SSL의 경우 소스 데이터와 타겟 데이터의 조합된 데이터로 사전학습하면 소스 전용 또는 타겟 전용 사전학습보다 성능 향상이 이루어지지만, TL의 경우 조합된 사전학습이 소스 전용 사전학습보다 성능이 열 劣하다. 이는 타겟 작업에 대한 집중도가 감소하기 때문이다.