[논문 리뷰] Information-theoretic analysis for transfer learning

Xuetong Wu, Jonathan H. Manton외 2명|arXiv (Cornell University)|2020. 05. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 7

한 줄 요약

이 논문은 훈련 데이터와 테스트 데이터가 서로 다른 분포를 따르는 전이학습에서 일반화 오차와 초과 위험을 분석하기 위한 정보이론적 프레임워크를 제시한다. 훈련 데이터와 학습된 가설 간의 상호정보량을 활용하여, 특히 경험적 위험 최소화 및 노이즈가 있는 경사 하강법 알고리즘에 대해 라데마처 복잡도보다 더 날카운 상한을 도출한다. 이 상한은 알고리즘 및 데이터 특성에 명시적으로 의존한다.

ABSTRACT

Transfer learning, or domain adaptation, is concerned with machine learning problems in which training and testing data come from possibly different distributions (denoted as $μ$ and $μ'$, respectively). In this work, we give an information-theoretic analysis on the generalization error and the excess risk of transfer learning algorithms, following a line of work initiated by Russo and Zhou. Our results suggest, perhaps as expected, that the Kullback-Leibler (KL) divergence $D(mu||mu')$ plays an important role in characterizing the generalization error in the settings of domain adaptation. Specifically, we provide generalization error upper bounds for general transfer learning algorithms and extend the results to a specific empirical risk minimization (ERM) algorithm where data from both distributions are available in the training phase. We further apply the method to iterative, noisy gradient descent algorithms, and obtain upper bounds which can be easily calculated, only using parameters from the learning algorithms. A few illustrative examples are provided to demonstrate the usefulness of the results. In particular, our bound is tighter in specific classification problems than the bound derived using Rademacher complexity.

연구 동기 및 목표

• 훈련 데이터와 테스트 데이터가 서로 다른 분포를 따르는 전이학습에서 일반화 오차 문제를 다루기 위해.
• 도메인 이동을 KL 발산을 통해 명시적으로 고려한 정보이론적 상한을 일반화 오차와 초과 위험에 대해 도출하기 위해.
• 특정 분류 문제에서 전통적인 라데마처 복잡도 기반 상한보다 더 날카로운 데이터-알고리즘 의존 상한을 제공하기 위해.
• 학습된 가설에 대한 상호정보량을 계산할 수 있는 알고리즘 파rameter들만을 사용하여 반복적이고 노이즈가 있는 경사 하강법 알고리즘으로의 분석 확장을 위해.

제안 방법

• 이 프레임워크는 훈련 데이터와 출력 가설 간의 상호정보량을 사용하여 일반화 오차의 상한을 도출하며, 루소와 주우의 정보이론적 접근을 따르고 있다.
• 저자들은 원천 및 타겟 분포 간의 Kullback-Leibler (KL) 발산을 도메인 이동의 척도로 사용하여 일반화 오차 상한을 유도한다.
• 경험적 위험 최소화 (ERM)의 경우, 원천 및 타겟 분포의 데이터를 모두 조합하여 초과 위험 상한을 도출하며, 도메인 차이 항 $ d_{\mathcal{W}}(\mu,\mu') $ 에 대해 데이터에 의존하는 추정치를 사용한다.
• 이 방법은 노이즈가 있는 반복적 경사 하강법 알고리즘에 대해 정리 2를 적용하여, 학습률 및 노이즈 분산과 같은 알고리즘 파rameter들만을 기반으로 상호정보량 상한을 계산 가능하게 한다.
• 이 접근법은 KL 발산을 특징 조건부 및 레이블 조건부 성분으로 분해하여, 가우시안 및 베르누이 분포의 파ram터를 통해 계산이 가능하게 한다.
• 실험적 검증은 잘린 가우시안 데이터와 로지스틱 손실을 사용하며, 상호정보량은 $ W_{\text{ERM}} $ 와 $ Z_i $ 의 반복적 샘플링을 통해 추정된다.

실험 결과

연구 질문

• RQ1 분포 이동을 고려한 정보이론적 척도를 사용하여 전이학습에서 일반화 오차를 어떻게 상한으로 제한할 수 있는가?
• RQ2 훈련 데이터와 가설 간의 상호정보량이 도메인 적응에서 라데마처 복잡도보다 더 날카로운 일반화 오차 상한을 제공할 수 있는가?
• RQ3 반복적이고 노이즈가 있는 경사 하강법 알고리즘에서 제안된 상한은 전이학습에서 어떻게 행동하는가?
• RQ4 원천 및 타겟 분포 간의 KL 발산이 전이학습에서 일반화 오차를 기술하는 데 어떤 역할을 하는가?
• RQ5 실제 분류 작업에서 데이터-알고리즘 의존 상한이 가설 공간 전체에 대한 상한보다 슈퍼어리어할 수 있는가?

주요 결과

• 제안된 정보이론적 일반화 오차 상한은 특정 분류 문제에서 라데마처 복잡도 기반 상한보다 더 날카롭다. 이는 데이터-알고리즘 의존성 덕분이다.
• 상호정보량 기반 상한은 전체 가설 공간에 의존하는 라데마처 복잡도보다 일반화 오차의 진짜 행동을 더 잘 반영한다.
• 원천 및 타겟 데이터를 모두 사용하는 ERM의 경우, 도메인 차이 $ \hat{d}_{\mathcal{W}}(\mu,\mu') $ 에 대해 데이터에 의존하는 추정치를 사용하여 초과 위험 상한을 도출함으로써, 전역 복잡도 측정치보다 정확도가 향상된다.
• 학습률 및 노이즈 수준과 같은 알고리즘 파rameter들만을 기반으로 하여 노이즈가 있는 경사 하강법에 대한 계산 가능한 상호정보량 상한을 제공한다.
• 원천 및 타겟 분포 간의 KL 발산은 일반화 오차를 결정하는 핵심 요소로 밝혀졌으며, 특징 및 레이블 조건부 성분으로 명시적으로 분해된다.
• 실험 결과는 일반화 오차 및 초과 위험 상한이 훈련 데이터 크기가 증가함에 따라 수렴하는 것으로 확인되어 이론적 프레임워크의 타당성을 검증한다.