[논문 리뷰] Learning to Transfer

Ying Wei, Yu Zhang외 1명|arXiv (Cornell University)|2017. 08. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 12

한 줄 요약

이 논문은 과거 전이 학습 경험에서 학습을 통해 소스 도메인과 타겟 도메인 간에 *무엇*을 전이할지, 그리고 *어떻게* 전이할지 자동으로 결정하는 새로운 프레임워크인 L2T(Learning to Transfer)를 제안한다. 과거 경험에 기반한 반사 함수를 사용하여 지식 전이를 최적화하며, 다양한 벤치마크에서 최신 기술 수준(SOTA)을 초월하는 성능 향상을 달성했으며, 기준 방법 대비 최대 1.1872×의 성능 향상률을 기록했다.

ABSTRACT

Transfer learning borrows knowledge from a source domain to facilitate learning in a target domain. Two primary issues to be addressed in transfer learning are what and how to transfer. For a pair of domains, adopting different transfer learning algorithms results in different knowledge transferred between them. To discover the optimal transfer learning algorithm that maximally improves the learning performance in the target domain, researchers have to exhaustively explore all existing transfer learning algorithms, which is computationally intractable. As a trade-off, a sub-optimal algorithm is selected, which requires considerable expertise in an ad-hoc way. Meanwhile, it is widely accepted in educational psychology that human beings improve transfer learning skills of deciding what to transfer through meta-cognitive reflection on inductive transfer learning practices. Motivated by this, we propose a novel transfer learning framework known as Learning to Transfer (L2T) to automatically determine what and how to transfer are the best by leveraging previous transfer learning experiences. We establish the L2T framework in two stages: 1) we first learn a reflection function encrypting transfer learning skills from experiences; and 2) we infer what and how to transfer for a newly arrived pair of domains by optimizing the reflection function. Extensive experiments demonstrate the L2T's superiority over several state-of-the-art transfer learning algorithms and its effectiveness on discovering more transferable knowledge.

연구 동기 및 목표

• 각 소스-타겟 쌍에 대해 최적의 전이 학습 알고리즘을 수작업으로 선택하는 데 드는 계산 비용과 전문 지식 요구 수준이 너무 높아, 이를 해결하기 위한 것.
• 역사적 경험에서 전이 학습 기술을 캡처하여 반사 함수에 통합함으로써 전이 학습의 효과를 향상시키기 위한 것.
• 과거 경험에서의 메타인지 학습을 활용하여 도메인 간에 *무엇*과 *어떻게* 지식을 전이할지 결정하는 과정을 자동화하기 위한 것.
• 다양한 전이 학습 경험에서 일반화된 전이 전략을 학습함으로써 수시로 적용되는 알고리즘 선택에 대한 의존도를 줄이기 위한 것.

제안 방법

• 과거 전이 학습 경험에서 반사 함수를 학습하여, 도메인 쌍과 전이된 지식을 성능 향상 비율로 매핑한다.
• 반사 함수는 전이 가능성(transferability)을 캡처하기 위해 MMD, 분산, 판별 기준을 조합한 구성 요소로 모델링된다.
• 핵심 기반 접근법을 사용하여 반사 함수를 표현하며, 다양한 척도 범위에서 초수치를 최적화한다.
• 새로운 도메인 쌍에 대해, 학습된 반사 함수의 출력을 최대화하도록 전이된 지식을 최적화함으로써 최적의 전이를 이끌어내는 방식이다.
• DIP, ITL, GFK, SIE 등 여러 기본 알고리즘을 통합하여 반사 함수 학습에 사용할 다양한 경험을 생성한다.
• 증분 학습을 지원하여 새로운 전이 경험을 확보함에 따라 온라인으로 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 과거 전이 학습 경험에서 학습된 반사 함수가 전이 학습 방법의 성능 향상률을 효과적으로 예측할 수 있는가?
• RQ2 MMD, 분산, 판별 기준 등 다수의 구성 요소를 포함할 경우 반사 함수의 품질에 어떤 영향을 미치는가?
• RQ3 전이 학습 경험의 수를 늘일수록 L2T 프레임워크의 일반화 능력과 성능 향상에 어떤 영향을 미치는가?
• RQ4 다양한 도메인 전이 시나리오에서 L2T가 개별 최신 기술 수준(SOTA) 전이 학습 알고리즘을 초월할 수 있는가?
• RQ5 핵심 범위의 선택이 반사 함수에서 전이 가능한 지식을 학습하는 데 어떤 영향을 미치는가?

주요 결과

• L2T는 Office-Home 데이터셋에서 최대 성능 향상 비율 1.1872를 기록했으며, DIP(1.0317) 및 ITL(1.0359)와 같은 개별 기준 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 8개의 기본 알고리즘을 모두 경험 풀에 통합한 경우, L2T는 1.1712×의 성능 향상 비율을 달성하여 다양한 훈련 경험의 이점이 있음을 입증했다.
• MMD, 분산, 판별 기준을 모두 포함한 반사 함수가 가장 높은 성능을 기록했으며, 단일 구성 요소 버전 대비 0.0106의 성능 향상률을 기록했다.
• 전이 학습 경험 수를 1,000에서 5,000으로 늘일 경우 평균 성능 향상률이 지속적으로 향상되었으며, 특히 데이터가 적은 환경에서 두드러진 효과를 보였다.
• 더 넓은 핵심 범위(예: [2⁻¹²η:2⁰.⁵η:2¹²η])를 사용할 경우 반사 함수의 일반화 능력이 향상되어, 좁은 범위 대비 최대 0.0106의 성능 향상률을 기록했다.
• 모든 기준 방법 대비 통계적으로 유의미한 향상(유의수준 p < 0.05)을 기록했으며, 모든 테스트 설정에서 p-값이 항상 0.01 이하로 유지되었다.