[논문 리뷰] A Comprehensive Survey on Transfer Learning

Fuzhen Zhuang, Zhiyuan Qi외 6명|arXiv (Cornell University)|2019. 11. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 208인용 수 228

한 줄 요약

본 연구는 데이터 및 모델 관점에서 동질적 전이 학습에 중점을 두고 forty transfer learning approaches를 체계적으로 검토하고, 실무 지도를 위해 세 가지 데이터셋에서 twenty models를 비교한다.

ABSTRACT

Transfer learning aims at improving the performance of target learners on target domains by transferring the knowledge contained in different but related source domains. In this way, the dependence on a large number of target domain data can be reduced for constructing target learners. Due to the wide application prospects, transfer learning has become a popular and promising area in machine learning. Although there are already some valuable and impressive surveys on transfer learning, these surveys introduce approaches in a relatively isolated way and lack the recent advances in transfer learning. Due to the rapid expansion of the transfer learning area, it is both necessary and challenging to comprehensively review the relevant studies. This survey attempts to connect and systematize the existing transfer learning researches, as well as to summarize and interpret the mechanisms and the strategies of transfer learning in a comprehensive way, which may help readers have a better understanding of the current research status and ideas. Unlike previous surveys, this survey paper reviews more than forty representative transfer learning approaches, especially homogeneous transfer learning approaches, from the perspectives of data and model. The applications of transfer learning are also briefly introduced. In order to show the performance of different transfer learning models, over twenty representative transfer learning models are used for experiments. The models are performed on three different datasets, i.e., Amazon Reviews, Reuters-21578, and Office-31. And the experimental results demonstrate the importance of selecting appropriate transfer learning models for different applications in practice.

연구 동기 및 목표

• 전이 학습과 그 메커니즘에 대한 통합적이고 포괄적인 관점을 제공한다.
• 데이터 및 모델 관점에서 기존의 전이 학습 접근법을 체계적으로 분류한다.
• 교차 도메인 분포 차이를 축소하고 데이터 특성을 보존하기 위한 전략을 요약한다.
• 표준 벤치마크에서 여러 전이 학습 모델을 비교하여 실용적인 지침을 제시한다.

제안 방법

• forty 대표적인 transfer learning approaches를 동질적 transfer learning에 중점을 두고 검토한다.
• 데이터 기반 관점과 모델 기반 관점을 통해 전이 학습을 해석한다.
• 인스턴스 가중치, 분포 지표(MMD 등), 그리고 특징 변환 기술에 대해 논의한다.
• 특징 증강 방법(FAM 등)과 이들의 이질적 작업에 대한 한계를 설명한다.
• 세 가지 데이터셋(Amazon Reviews, Reuters-21578, Office-31)에서 twenty models를 평가하여 실험 관행을 요약한다.

실험 결과

연구 질문

• RQ1 도메인 간 지식을 전이하기 위한 주요 데이터 중심 및 모델 중심 전략은 무엇인가?
• RQ2 동질적 전이 시나리오와 이질적 전이가 어떻게 다른가, 그리고 각각을 다루는 방법은 무엇인가?
• RQ3 표준 벤치마크에서 어떤 전이 학습 방법이 성능이 우수하며 어떤 설정에서 그러한가?
• RQ4 소스 도메인과 타깃 도메인 간의 분포 차이를 어떻게 측정하고 완화할 수 있는가?

주요 결과

• 광범위한 전이 학습 접근법이 인스턴스 기반, 특징 기반, 매개변수 기반, 관계 기반 방법으로 분류된다.
• Maximum Mean Discrepancy (MMD) 및 관련 지표가 분포 차이를 정량화하고 적응을 안내하는 데 일반적으로 사용된다.
• 특징 증강 및 매핑 기법은 도메인 간 공통 잠재 표현을 가능하게 하며, 동질적 사례에는 FAM, 이질적 사례에는 HFA와 같은 적응이 있다.
• 실험적 결과는 표준 데이터 세트 전반에 걸쳐 특정 응용에 적합한 전이 학습 모델 선택의 중요성을 보여준다.
• 본 연구는 도메인 관련성이 약하거나 일치하지 않을 때 부정적 전이(Negative transfer)가 발생할 수 있음을 강조한다.