[논문 리뷰] Generalization Bounds for Domain Adaptation

Chao Zhang, Lei Zhang외 1명|arXiv (Cornell University)|2013. 04. 04.

Domain Adaptation and Few-Shot Learning인용 수 27

한 줄 요약

이 논문은 도메인 불일치 하에서 일반화 경계를 수립하기 위해 분포 이질성의 정도를 측정하기 위해 적분 확률 거리(IPS) 기반의 새로운 프레임워크를 도입함으로써 도메인 적응에 대한 일반화 경계를 설정한다. 균일한 엔트로피와 라데마처 복잡도를 사용하여 허프딩 유형 및 대칭화 부등식을 유도함으로써, 다중 소스 및 병합된 소스-타겟 도메인 적응 설정 모두에 대해 渐진 수렴 분석과 수렴 속도 경계를 가능하게 한다.

ABSTRACT

In this paper, we provide a new framework to obtain the generalization bounds of the learning process for domain adaptation, and then apply the derived bounds to analyze the asymptotical convergence of the learning process. Without loss of generality, we consider two kinds of representative domain adaptation: one is with multiple sources and the other is combining source and target data. In particular, we use the integral probability metric to measure the difference between two domains. For either kind of domain adaptation, we develop a related Hoeffding-type deviation inequality and a symmetrization inequality to achieve the corresponding generalization bound based on the uniform entropy number. We also generalized the classical McDiarmid's inequality to a more general setting where independent random variables can take values from different domains. By using this inequality, we then obtain generalization bounds based on the Rademacher complexity. Afterwards, we analyze the asymptotic convergence and the rate of convergence of the learning process for such kind of domain adaptation. Meanwhile, we discuss the factors that affect the asymptotic behavior of the learning process and the numerical experiments support our theoretical findings as well.

연구 동기 및 목표

• 기존 통계학적 학습 이론이 동일한 소스 및 타겟 데이터 분포를 가정한다는 한계를 해결하기 위해 도메인 이질성 하에서 도메인 적응에 대한 일반화 경계를 개발한다.
• 학습 및 테스트 데이터가 서로 다른 분포에서 유래된 도메인 적응 환경에서 학습 과정의 渐진 수렴성과 수렴 속도를 분석한다.
• 도메인 불일치 측정, 복잡도 측정, 그리고 농도 불등식을 통합한 통합 프레임워크를 제안한다.
• 독립적인 랜덤 변수가 서로 다른 도메인에서 유래된 경우를 다룰 수 있도록 맥디아미드의 부등식을 일반화하여 더 날카운 라데마처 기반 경계를 가능하게 한다.
• 수치 실험을 통해 이론적 결과를 검증하고 표준 i.i.d. 학습 가정과의 결과를 비교한다.

제안 방법

• 소스 및 타겟 도메인 간의 분포 차이를 측정하기 위해 적분 확률 거리(IPM)를 사용하여 기존의 i.i.d. 가정을 대체한다.
• 마팅게일 방법을 활용하여 도메인 불일치의 비i.i.d. 특성을 반영한 도메인 적응용 허프딩 유형의 편차 부등식을 개발한다.
• IPM를 통합한 대칭화 부등식을 도입하여 도메인 불일치를 반영함으로써 더 날카운 일반화 경계를 가능하게 한다.
• 균일한 엔트로피 수를 활용하여 다중 소스 및 병합된 소스-타겟 도메인 적응 설정 모두에 대한 일반화 경계를 유도한다.
• 독립적인 랜덤 변수가 서로 다른 도메인에서 유래된 경우를 다룰 수 있도록 맥디아미드의 부등식을 일반화하여 라데마처 복잡도 기반 경계를 지원한다.
• 균일한 엔트로피와 라데마처 복잡도를 모두 사용하여 일반화 경계를 도출함으로써 도메인 이질성 하에서 수렴 속도 분석이 가능하다.

실험 결과

연구 질문

• RQ1 소스 및 타겟 도메인이 서로 다른 분포를 따를 경우 도메인 적응에 대한 일반화 경계를 어떻게 유도할 수 있는가?
• RQ2 적분 확률 거리(IPM)는 도메인 불일치를 측정하고 일반화 경계를 향상시키는 데 어떤 역할을 하는가?
• RQ3 학습 과정의 수렴 속도는 도메인 이질성, 표본 크기, 함수 클래스의 복잡도에 따라 어떻게 달라지는가?
• RQ4 맥디아미드의 부등식은 서로 다른 도메인에서 유래된 독립적인 랜덤 변수를 다룰 수 있도록 일반화될 수 있는가? 이를 통해 더 날카운 라데마처 기반 경계가 가능해지는가?
• RQ5 표준 i.i.d. 가정 하에서의 수렴 성질과 비교해 도메인 적응의 이론적 수렴 성질은 어떻게 다른가?

주요 결과

• 논문은 도메인 불일치를 측정하기 위해 IPM를 사용하여 도메인 적응에 대한 일반화 경계를 수립하였으며, 이 경계는 함수 클래스의 복잡도와 도메인 이질성의 크기에 따라 달라진다.
• 다중 소스 및 병합된 소스-타겟 도메인 적응 모두에서 유도된 경계는 일반화 오차가 표본 크기 $N_S$와 $N_T$ 및 IPM 거리 $D_{F}(S,T)$에 따라 감소함을 보여준다.
• 도메인 불일치 $D_{F}(S,T)$가 유계이고 함수 클래스가 유한한 균일한 엔트로피 또는 라데마처 복잡도를 가진다면 학습 과정의 渐진 수렴이 보장된다.
• 기본 가정 하에서 수렴 속도는 $O(1/\text{min}(N_S, N_T))$로 나타나며, 도메인 이질성이 작을 경우 더 향상된 수렴 속도를 기대할 수 있다.
• 수치 실험 결과 이론적 결과를 뒷받침하며, 제안된 경계가 도메인 적응 설정에서 일반화 오차를 정확하게 반영함을 보여준다.
• 일반화된 맥디아미드의 부등식은 비i.i.i.d. 환경에서 더 날카운 라데마처 복잡도 기반 경계를 가능하게 하여 기존의 도메인 적응 경계보다 향상된 성능을 달성한다.