[논문 리뷰] Theoretical Guarantees of Transfer Learning

Zirui Wang|arXiv (Cornell University)|2018. 10. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 11

한 줄 요약

이 논문은 VC-이론, 라데마처 복잡도, 알고리즘 안정성의 세 가지 주요 프레임워크를 사용하여 전이 학습의 종합적인 이론적 분석을 제공한다. 레이블이 있는 데이터 크기의 의존도를 향상시키기 위해 농도 인자 μ를 도입함으로써 다중 소스 전이 학습에 대해 더 날카운 일반화 경계를 유도하며, 이는 이전 연구에 비해 더 정보가 많고 실용적인 경계를 제공한다.

ABSTRACT

Transfer learning has been proven effective when within-target labeled data is scarce. A lot of works have developed successful algorithms and empirically observed positive transfer effect that improves target generalization error using source knowledge. However, theoretical analysis of transfer learning is more challenging due to the nature of the problem and thus is less studied. In this report, we do a survey of theoretical works in transfer learning and summarize key theoretical guarantees that prove the effectiveness of transfer learning. The theoretical bounds are derived using model complexity and learning algorithm stability. As we should see, these works exhibit a trade-off between tight bounds and restrictive assumptions. Moreover, we also prove a new generalization bound for the multi-source transfer learning problem using the VC-theory, which is more informative than the one proved in previous work.

연구 동기 및 목표

• 모델 복잡도와 알고리즘 안정성에 중점을 두어 전이 학습의 이론적 보장에 대한 체계적인 조사를 제공한다.
• 소스 도메인과 타겟 도메인 간의 분포 이탈로 인해 전이 학습에서 일반화 경계를 분석하는 데 도전 과제가 있음을 다룬다.
• VC-이론을 사용하여 기존 경계를 개선하는 새로운 더 날카운 일반화 경계를 다중 소스 전이 학습을 위해 도출한다.
• 다양한 이론적 접근 방식 간의 경계의 날카움과 제약 조건의 엄격함 사이의 트레이드오프를 비교한다.
• 가설 전이 학습 설정에서의 부정적 전이와 수렴 속도의 함의를 탐색한다.

제안 방법

• VC-이론을 적용하여 다중 소스 전이 학습의 일반화 경계를 유도하며, 소스 가설의 신뢰성과 유사도를 균형 잡기 위해 농도 인자 μ를 도입한다.
• 라데마처 복잡도를 사용하여 도메인 적응 설정을 분석하며, 분포 이탈과 위험 항목에 의존하는 경계를 도출한다.
• 알고리즘 안정성을 사용하여 가설 전이 학습을 분석하며, 원시 데이터 대신 소스 가설만 이용 가능하다.
• 신뢰성과 유사도에 따라 기여도를 균형 잡기 위해 파라미터 αi와 μ를 사용하여 소스 위험의 가중 조합을 도입한다.
• 개별 소스 샘플 크기를 총 레이블이 있는 데이터 크기 m으로 대체함으로써 각 소스 데이터에 대한 의존도를 줄이고 경계를 더욱 날카워지게 한다.
• 표본 위험과 분포 이탈 측정치인 dH△H 등을 사용하여 소스 도메인과 타겟 도메인 간의 불일치를 정량화한다.

실험 결과

연구 질문

• RQ1 모델 복잡도와 알고리즘 안정성에 기반하여 전이 학습에서 일반화 경계를 이론적으로 정당화할 수 있는가?
• RQ2 기존 이론적 프레임워크에서 경계의 날카움과 가정의 엄격함 사이의 트레이드오프는 무엇인가?
• RQ3 신뢰성과 유사도에 기반한 소스 기여도 재가중을 통해 다중 소스 전이 학습에 대해 더 날카운 일반화 경계를 도출할 수 있는가?
• RQ4 농도 인자 μ의 도입이 다중 소스 전이 학습에서 레이블이 있는 데이터 크기 의존도를 어떻게 향상시키는가?
• RQ5 가설 전이 학습에서 안정성 기반 접근 방식은 분포 가정이 필요한지를 어느 정도 회피할 수 있는가?

주요 결과

• 정리 7에서 제안된 경계는 개별 소스 데이터 크기를 총 레이블이 있는 데이터 크기 m으로 대체하여 다중 소스 전이 학습에서 더 날카운 일반화 경계를 얻는다.
• 농도 인자 μ는 소스를 유사도와 신뢰성에 따라 가중할 수 있게 하여 일반화 경계의 강건성을 향상시킨다.
• VC-이론에 기반한 정리 1에 비해, 라데마처 복잡도에 기반한 정리 5는 더 실용적인 경계를 제공하며 오차 항목이 적어 더러운 경계의 위험을 줄인다.
• 정리 6에서의 안정성 기반 경계는 분포 가정에 덜 의존하지만, 가설 수준의 안정성에 중점을 두어 전이 학습에 직접적으로 적용하기는 어렵다.
• 분석 결과, 가설 전이 학습에서는 학습 알고리즘의 안정성 덕분에 부정적 전이가 본질적으로 완화됨을 보여준다.
• 이론적 경계는 성공적인 전이 학습이 작은 분포 이탈과 이상 가설의 낮은 기대 위험을 동시에 필요로 한다고 시사한다.