[논문 리뷰] A Survey on Deep Transfer Learning

Chuanqi Tan, Fuchun Sun외 4명|arXiv (Cornell University)|2018. 08. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 37

한 줄 요약

이 종합적 서베이는 딥 트랜스퍼 러닝의 포괄적인 분류 체계를 제안하며, 이를 기반으로 한 방법, 매핑 기반 방법, 네트워크 기반 방법, 악성 기반 방법의 네 가지 유형으로 분류한다. 주요 기법을 검토하고, 레이블이 제한된 데이터에서 도메인 간 지식을 전이하는 데 있어 딥 신경망의 역할을 강조하며, 잔차 네트워크, VGG, Inception 등이 매우 전이 가능한 아키텍처임을 밝힌다.

ABSTRACT

As a new classification platform, deep learning has recently received increasing attention from researchers and has been successfully applied to many domains. In some domains, like bioinformatics and robotics, it is very difficult to construct a large-scale well-annotated dataset due to the expense of data acquisition and costly annotation, which limits its development. Transfer learning relaxes the hypothesis that the training data must be independent and identically distributed (i.i.d.) with the test data, which motivates us to use transfer learning to solve the problem of insufficient training data. This survey focuses on reviewing the current researches of transfer learning by using deep neural network and its applications. We defined deep transfer learning, category and review the recent research works based on the techniques used in deep transfer learning.

연구 동기 및 목표

• 생물정보학 및 로봇공학과 같은 분야에서 데이터 수집이 비용이 많이 들고 시간이 오래 걸리는 바탕으로 레이블이 부족한 문제를 해결하기 위해.
• 소스 도메인과 타겟 도메인 간의 i.i.d. 가정을 완화하는 해결책으로 딥 트랜스퍼 러닝을 체계화하기 위해.
• 딥 트랜스퍼 러닝 방법을 처음으로 네 가지 명확한 범주로 체계적으로 분류하기 위해.
• 딥 트랜스퍼 러닝 기법의 최근 발전과 다양한 분야에서의 실용적 응용을 검토하기 위해.
• 부정적 전이, 전이 가능성 측정, 학습된 표현의 물리적 해석 가능성과 같은 열린 과제를 규명하기 위해.

제안 방법

• 도메인 및 작업 불일치를 기반으로 한 딥 트랜스퍼 러닝의 공식 정의 제안: $\mathcal{D}_s \neq \mathcal{D}_t$ 및/또는 $\mathcal{T}_s \neq \mathcal{T}_t$.
• 딥 트랜스퍼 러닝을 네 가지 범주로 분류: 기반 인스턴스, 매핑 기반, 네트워크 기반, 악성 기반 방법.
• 기울기 반전 레이어와 도메인 판별자를 사용하여 특징 분포를 도메인 간에 정렬하는 악성 기반 딥 트랜스퍼 러닝 도입.
• 분류 정확도와 도메인 불변성 간 균형을 맞추기 위해 공동 손실 함수 $\mathcal{L}_D = \mathcal{L}_c + \lambda \mathcal{L}_{adver}$ 활용.
• 대규모 소스 데이터셋에서 작은 타겟 작업으로 지식을 전이하기 위해 사전 훈련된 딥 네트워크(예: ResNet, VGG, Inception)를 특징 추출기로 활용.
• 비지도 클러스터링을 DNN에서 추출한 특징에 적용하여 레이블이 없는 예시로도 새로운 클래스를 탐지, 중력파 신호 탐지에서 이를 구현함.

실험 결과

연구 질문

• RQ1 딥 트랜스퍼 러닝은 생물정보학 및 로봇공학과 같은 저자원 도메인에서 데이터 부족 문제를 효과적으로 완화할 수 있는가?
• RQ2 딥 트랜스퍼 러닝의 근본적인 범주들은 무엇이며, 기계적 작동 방식과 응용에서 어떻게 다를까?
• RQ3 다음 작업에 대해 가장 높은 전이 가능성(transferability)을 보이는 딥 신경망 아키텍처는 무엇인가?
• RQ4 악성 훈련을 통해 도메인 불변 표현을 학습시켜 도메인 간 일반화 능력을 향상시킬 수 있는가?
• RQ5 딥 트랜스퍼 러닝의 주요 과제들, 예를 들어 부정적 전이, 전이 가능성 측정 등은 무엇이며, 어떻게 해결할 수 있는가?

주요 결과

• 사전 훈련된 모델(예: ResNet, VGG, Inception)을 사용하는 네트워크 기반 딥 트랜스퍼 러닝은 계층적 특징 학습과 전이 가능성 덕분에 뛰어난 성능을 달성한다.
• 특히 기울기 반전과 도메인 판별자를 사용하는 악성 기반 방법은 도메인 정렬을 크게 향상시키고 도메인 이동을 감소시킨다.
• 분류 및 도메인 악성 손실의 공동 최적화를 통해 교차 도메인 및 교차 작업 지식 전이가 동시에 가능하며, 특히 레이블이 흐린 설정에서 유리하다.
• 전이 가능성은 네트워크 아키텍처에 의해 영향을 받는다: 일부 모듈은 도메인 내 정확도보다 전이 가능성에 더 큰 영향을 미치며, 이는 아키텍처 설계가 지식 전이에 영향을 준다는 것을 시사한다.
• 딥 신경망은 강력한 비지도 특징 추출기로 기능할 수 있으며, 레이블이 전혀 없는 조건에서도 클러스터링 기반으로 새로운 신호 클래스를 탐지할 수 있다. 중력파 탐지에서 이를 입증함.
• LeNet, AlexNet, VGG, Inception, ResNet는 강력한 특징 표현력과 일반화 능력 덕분에 전이 학습에 특히 효과적인 선택으로 규명됨.