[논문 리뷰] Transferability in Deep Learning: A Survey

Junguang Jiang, Yang Shu외 2명|arXiv (Cornell University)|2022. 01. 15.

Domain Adaptation and Few-Shot Learning인용 수 80

한 줄 요약

이 설문조사는 사전 학습, 적응 및 평가를 딥러닝의 전달성으로 연결하고, 전달성 방법의 공정한 벤치마킹을 위한 TLlib를 소개합니다.

ABSTRACT

The success of deep learning algorithms generally depends on large-scale data, while humans appear to have inherent ability of knowledge transfer, by recognizing and applying relevant knowledge from previous learning experiences when encountering and solving unseen tasks. Such an ability to acquire and reuse knowledge is known as transferability in deep learning. It has formed the long-term quest towards making deep learning as data-efficient as human learning, and has been motivating fruitful design of more powerful deep learning algorithms. We present this survey to connect different isolated areas in deep learning with their relation to transferability, and to provide a unified and complete view to investigating transferability through the whole lifecycle of deep learning. The survey elaborates the fundamental goals and challenges in parallel with the core principles and methods, covering recent cornerstones in deep architectures, pre-training, task adaptation and domain adaptation. This highlights unanswered questions on the appropriate objectives for learning transferable knowledge and for adapting the knowledge to new tasks and domains, avoiding catastrophic forgetting and negative transfer. Finally, we implement a benchmark and an open-source library, enabling a fair evaluation of deep learning methods in terms of transferability.

연구 동기 및 목표

• 전달성(transferability)과 데이터 효율적 딥러닝에서의 역할 정의.
• 사전 학습 및 적응 생애주기의 통일된 관점 제공.
• 사전 학습(지도 및 비지도) 및 적응(태스크 및 도메인)의 핵심 방법 검토.
• 망각(재앙적 망각)과 부정적 전달, 그리고 공정한 평가를 위한 벤치마크와 라이브러리를 제안.

제안 방법

• 전이 가능한 표현에 영향을 주는 모델 아키텍처와 귀납 편향을 검토.
• 데이터 품질 및 도메인 유사성의 영향을 포함한 감독식 사전 학습을 검토.
• 생성적 학습 및 대조 학습을 포함한 비지도 사전 학습을 검토.
• 전이성 향상을 위한 전략으로 메타학습과 인과 학습을 논의.
• 공정한 방법 비교를 위한 평가 벤치마크와 오픈소스 TLlib을 제시.

실험 결과

연구 질문

• RQ1 일반적 전이성과 태스크/도메인 특이적 전이를 판단하는 요인은 무엇인가?
• RQ2 사전 학습 및 적응을 어떻게 설계하여 태스크와 도메인 전반에 걸친 전달성을 극대화할 수 있는가?
• RQ3 공정하고 재현 가능한 전달성 방법 평가를 보장하는 원칙은 무엇인가?
• RQ4 연속학습, 도메인 일반화 및 관련 설정이 전달성 연구에 어떻게 정보를 제공할 수 있는가?

주요 결과

• 사전 학습의 품질과 모델 아키텍처(예: 깊이, Transformer 기반 설계)가 다운스트림 전달성에 강하게 영향을 미친다.
• 지도 학습 및 비지도 사전 학습은 보완적인 경로를 제공하며, 데이터 규모와 태스크 설계가 중요한 역할을 한다.
• 메타학습과 인과 학습은 환경 간 더 빠르거나 더 견고한 적응 및 일반화를 위한 전략을 제공한다.
• 도메인 적응 이론은 분포 이동을 다루는 실용 알고리즘의 기초가 된다.
• 오픈 소스 TLlib 라이브러리는 사전 학습 및 적응 방법 간의 공정하고 재현 가능한 벤치마킹을 가능하게 한다.