[논문 리뷰] A Survey on Self-supervised Pre-training for Sequential Transfer Learning in Neural Networks

Huanru Henry Mao|arXiv (Cornell University)|2020. 07. 01.

Domain Adaptation and Few-Shot Learning인용 수 26

한 줄 요약

이 종합 검토는 컴퓨터 비전, 자연어 처리 및 오디오/음성 분야에서 순차적 전이 학습을 위한 자기지도 사전 훈련 방법에 대한 종합적인 개요를 제공한다. 자기지도 학습을 블로킹 기반 및 예측 기반 방법으로 분류하고, 핵심 사전 훈련 작업을 강조하며, 파인튜닝 이후의 다중 모odal 학습 및 소수의 프로브와 같은 향후 방향을 제시한다.

ABSTRACT

Deep neural networks are typically trained under a supervised learning framework where a model learns a single task using labeled data. Instead of relying solely on labeled data, practitioners can harness unlabeled or related data to improve model performance, which is often more accessible and ubiquitous. Self-supervised pre-training for transfer learning is becoming an increasingly popular technique to improve state-of-the-art results using unlabeled data. It involves first pre-training a model on a large amount of unlabeled data, then adapting the model to target tasks of interest. In this review, we survey self-supervised learning methods and their applications within the sequential transfer learning framework. We provide an overview of the taxonomy for self-supervised learning and transfer learning, and highlight some prominent methods for designing pre-training tasks across different domains. Finally, we discuss recent trends and suggest areas for future investigation.

연구 동기 및 목표

• 시각, NLP 및 오디오/음성 분야를 포함한 다양한 도메인에서 순차적 전이 학습을 위한 자기지도 사전 훈련 기법을 통합적으로 검토하는 것.
• 자기지도 학습 방법을 블로킹 기반 및 예측 기반 접근 방식으로 분류하고 도메인 특화 예시를 포함해 분석하는 것.
• 사전 훈련 작업이 최종 전이 성능 향상에 미치는 역할를 검토하고 효과적인 사전 훈련을 위한 설계 원칙을 규명하는 것.
• 최근의 추세인 다중 작업 학습, 소수의 프로브, 자기지도 모델의 아키텍처 유연성 등을 논의하는 것.
• 개방된 과제와 향후 연구 방향을 특정화하는 것, 다중 모달 학습 및 대규모 사전 훈련 모델에서 효율적인 지식 추출을 포함하여.

제안 방법

• 자기지도 학습을 블로킹 기반 방법(모델 아키텍처를 통해 정보 압축을 강제함)과 예측 기반 방법(마스킹되거나 맥락 기반 데이터를 예측하도록 훈련함)으로 나누는 것.
• 마스킹 자동에코, 대비 학습, 다음 문장 예측과 같은 주요 사전 훈련 작업을 검토하고, 이들이 최종 작업과의 일치도를 강조하는 것.
• 모델 규모와 데이터 양의 영향을 분석하고, 표현 품질 향상을 위해 더 큰 모델과 더 많은 데이터를 사용할 것을 주장하는 것.
• 아키텍처의 유연성 평가를 통해, RNN에 비해 더 낮은 인덕티브 바이어스와 더 나은 기울기 흐름을 제공함으로써 트랜스포머가 자기지도 학습에서 유리한 성능을 보이는 것을 분석하는 것.
• 전이 학습 전략 평가를 통해 파인튜닝 외에도 다중 작업 학습 및 소수의 프롬프팅 같은 대체 적응 기법을 논의하는 것.
• 다양한 사전 훈련 목표를 조합하면 단일 작업을 독립적으로 사용하는 것보다 더 나은 성능을 낼 수 있으며, 이는 표현 학습에서의 상호보완적 이점이 있음을 제안하는 것.

실험 결과

연구 질문

• RQ1 블로킹 기반 및 예측 기반 자기지도 학습 방법은 아키텍처와 학습 목표에서 어떻게 다릅니까?
• RQ2 시각, NLP 및 음성 분야에서 순차적 전이 학습을 위한 가장 효과적인 사전 훈련 작업는 무엇입니까?
• RQ3 모델 크기와 훈련 데이터 스케일이 자기지도 사전 훈련 성능에 얼마나 기여합니까?
• RQ4 유연한 아키텍처인 트랜스포머가 자기지도 순차 학습에서 순환 모델을 능가할 수 있습니까?
• RQ5 파인튜닝 외에 어떤 지식 적응 기법이 사전 훈련 모델에서 최종 작업으로 지식을 효과적으로 전이할 수 있습니까?

주요 결과

• 여러 사전 훈련 작업을 조합하면 단일 작업을 독립적으로 사용하는 것보다 더 나은 성능을 내며, 표현 학습에서 상호보완적 이점이 있음을 시사한다.
• 더 큰 모델이 더 많은 데이터로 훈련될수록 성능 향상이 일관되게 나타나며, 대규모 데이터셋에서 더 작은 모델보다 더 큰 모델을 적은 반복 횟수로 훈련하는 것이 더 나은 성능을 낼 수 있다.
• 자기지도 학습에서 트랜스포머와 같은 민첩한 아키텍처는 RNN보다 더 낮은 인덕티브 바이어스와 더 나은 기울기 흐름 덕분에 뛰어난 성능을 보인다.
• 소수의 프로브—즉, 자연어 프롬프트로 몇 개의 예시만으로 작업을 지정하는 방식—는 파인튜닝 없이도 강력한 성능을 낼 수 있으며, 특히 NLP 분야에서 유의미하다.
• 다중 모달 사전 훈련, 예를 들어 공동 오디오-시각 대비 학습이나 이미지-텍스트 마스킹 모델링은 다양한 도메인 간 일반화를 향상시키는 데 잠재력을 보인다.
• 스케일링에도 불구하고 현재 모델들은 여전히 공통 경험적 추론과 세계 지식을 결여하고 있어, 현재 자기지도 접근 방식의 핵심적 한계를 드러낸다.