[논문 리뷰] Transfer Adaptation Learning: A Decade Survey

Lei Zhang, Xinbo Gao|arXiv (Cornell University)|2019. 03. 12.

Domain Adaptation and Few-Shot Learning인용 수 65

한 줄 요약

본 고찰은 전이 학습과 도메인 적응을 Transfer Adaptation Learning(TAL) 하에 통합하고, 지난 10년간 다섯 가지 주요 적응 메커니즘, 도전 과제, 그리고 향후 방향을 검토한다.

ABSTRACT

The world we see is ever-changing and it always changes with people, things, and the environment. Domain is referred to as the state of the world at a certain moment. A research problem is characterized as transfer adaptation learning (TAL) when it needs knowledge correspondence between different moments/domains. Conventional machine learning aims to find a model with the minimum expected risk on test data by minimizing the regularized empirical risk on the training data, which, however, supposes that the training and test data share similar joint probability distribution. TAL aims to build models that can perform tasks of target domain by learning knowledge from a semantic related but distribution different source domain. It is an energetic research filed of increasing influence and importance, which is presenting a blowout publication trend. This paper surveys the advances of TAL methodologies in the past decade, and the technical challenges and essential problems of TAL have been observed and discussed with deep insights and new perspectives. Broader solutions of transfer adaptation learning being created by researchers are identified, i.e., instance re-weighting adaptation, feature adaptation, classifier adaptation, deep network adaptation and adversarial adaptation, which are beyond the early semi-supervised and unsupervised split. The survey helps researchers rapidly but comprehensively understand and identify the research foundation, research status, theoretical limitations, future challenges and under-studied issues (universality, interpretability, and credibility) to be broken in the field toward universal representation and safe applications in open-world scenarios.

연구 동기 및 목표

• Transfer Adaptation Learning(TAL)을 전이 학습과 도메인 적응의 통합 관점으로 정의한다.
• 주요 TAL 방법론을 식별하고 이들이 도메인 간 분포 변화에 어떻게 대응하는지 파악한다.
• 범용 표현과 안전한 오픈 월드 응용을 위한 이론적 고찰, 도전 과제 및 향후 방향을 논의한다.

제안 방법

• 인스턴스 재가중, 특징 적응, 분류기 적응, 심층 네트워크 적응, 그리고 적대적 적응을 포함하는 TAL 분류 체계를 제안한다.
• 약지도 학습 관점과 SSL, AL, ZSL, OSR이 TAL과 어떻게 연결되는지 논의한다.
• 각 TAL 범주 내에서 분포 불일치 최소화와 도메인 정렬과 같은 핵심 방법론적 메커니즘을 제시한다.

실험 결과

연구 질문

• RQ1 교차 도메인 지식 전이를 다루는 중심 TAL 패러다임은 무엇인가?
• RQ2 다양한 TAL 접근법은 소스 도메인과 타깃 도메인 간 분포 불일치를 어떻게 완화하는가?
• RQ3 범용 TAL 표현 및 오픈 월드 신뢰성의 미해결 과제와 향후 방향은 무엇인가?

주요 결과

• TAL 프레임워크는 소스 리스크, 도메인 불일치, 결합 오차의 조합을 최소화하여 타깃 리스크를 한정하는 것을 목표로 한다.
• 다섯 가지 주요 TAL 범주가 확인된다: 인스턴스 재가중, 특징 적응, 분류기 적응, 심층 네트워크 적응, 그리고 적대적 적응.
• 딥 러닝은 TAL에서 지배적이 되었으며, 미세 조정(fine-tuning)과 적대적 전략이 핵심 기법으로 강조된다.
• 오픈 세트 및 부분 도메인 설정은 전통적인 폐쇄 집합 DA 가정의 확장으로 논의된다.
• 본 연구는 보편성, 해석 가능성, 신뢰성을 보편적 TAL 표현의 주요 연구 저해 요인으로 강조한다.