[논문 리뷰] Generalization Bounds for Representative Domain Adaptation

Chao Zhang, Lei Zhang외 2명|arXiv (Cornell University)|2014. 01. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 3

한 줄 요약

이 논문은 소스 도메인과 타겟 도메인 간의 분포 이탈을 측정하기 위해 통합 확률 거리(IPM)를 도입하여 대표성 있는 도메인 적응을 위한 새로운 이론적 프레임워크를 제안한다. 다수의 도메인을 위한 허프딩 유형, 벤턴 유형, 맥디아미드 유형의 편차 부등식을 유도하고, IPM를 통합한 대칭화 부등식을 수립하며, 균일한 엔트로피 수와 라데마처 복잡도를 사용한 일반화 경계를 제시한다. 이와 더불어 점근적 수렴 분석과 실험적 검증을 수행한다.

ABSTRACT

In this paper, we propose a novel framework to analyze the theoretical properties of the learning process for a representative type of domain adaptation, which combines data from multiple sources and one target (or briefly called representative domain adaptation). In particular, we use the integral probability metric to measure the difference between the distributions of two domains and meanwhile compare it with the H-divergence and the discrepancy distance. We develop the Hoeffding-type, the Bennett-type and the McDiarmid-type deviation inequalities for multiple domains respectively, and then present the symmetrization inequality for representative domain adaptation. Next, we use the derived inequalities to obtain the Hoeffding-type and the Bennett-type generalization bounds respectively, both of which are based on the uniform entropy number. Moreover, we present the generalization bounds based on the Rademacher complexity. Finally, we analyze the asymptotic convergence and the rate of convergence of the learning process for representative domain adaptation. We discuss the factors that affect the asymptotic behavior of the learning process and the numerical experiments support our theoretical findings as well. Meanwhile, we give a comparison with the existing results of domain adaptation and the classical results under the same-distribution assumption.

연구 동기 및 목표

• 다수의 소스 도메인과 하나의 타겟 도메인을 통합하는 통합 이론적 프레임워크를 개발하기 위해.
• 기존의 H-분산 및 오차 거리와 같은 지표를 넘어서 소스 도메인과 타겟 도메인 간의 분포 차이를 측정하는 데 도전하는 데 목적이 있다.
• 다중 도메인 학습 설정에 맞게 조정된 새로운 편차 부등식(Hoeffding, Bennett, McDiarmid)을 유도하기 위해.
• 도메인 이탈을 일반화 경계에 반영하기 위해 IPM를 명시적으로 포함하는 대칭화 부등식을 수립하기 위해.
• 도메인 이탈 하에서 학습 과정의 점근적 수렴성과 수렴 속도를 분석하기 위해.

제안 방법

• 소스 도메인과 타겟 도메인 간의 분포 차이를 측정하기 위해 통합 확률 거리(IPM)를 사용하며, H-분산 및 오차 거리와 비교한다.
• 마팅게일 기반 접근을 적용하여 다수의 도메인을 위한 허프딩 유형, 벤턴 유형, 맥디아미드 유형의 편차 부등식을 유도한다.
• 도메인 이탈을 일반화 경계 유도 과정에 반영하기 위해 IPM를 명시적으로 포함하는 대칭화 부등식을 제안한다.
• 균일한 엔트로피 수와 라데마처 복잡도를 사용하여 일반화 경계를 유도함으로써 더 날카롭고 더 적응 가능한 위험 추정을 가능하게 한다.
• 유도된 부등식을 소스 도메인과 타겟 도메인의 데이터 분포 및 표본 크기를 모두 고려하는 통합 경계 표현식에 통합한다.
• 대칭화 및 농도 기법을 활용하여 도메인 이탈 하에서 경험 위험과 진짜 위험 간의 기대 위험 차이를 경계한다.

실험 결과

연구 질문

• RQ1 기존 지표를 넘어서 도메인 적응에서 소스 도메인과 타겟 도메인 간의 분포 이탈을 더 효과적으로 측정하는 방법은 무엇인가?
• RQ2 다수의 소스 도메인과 하나의 타겟 도메인을 포함하는 학습 과정에 대해 유효한 편차 부등식은 무엇인가?
• RQ3 일반화 경계에 도메인 분포의 차이를 반영하기 위해 대칭화 부등식을 어떻게 조정할 수 있는가?
• RQ4 균일한 엔트로피 수와 라데마처 복잡도를 사용한 대표성 있는 도메인 적응의 일반화 경계는 무엇인가?
• RQ5 도메인 이탈 하에서 학습 과정의 점근적 수렴 행동과 수렴 속도는 무엇인가?

주요 결과

• 논문은 소스 도메인과 타겟 도메인 간의 IPM, 표본 크기, 함수 클래스 복잡도에 의존하는 허프딩 유형의 일반화 경계를 수립한다.
• 서브-가우시안 또는 서브-웨이불 분포 가정 하에서 더 날카운 제어를 제공하는 벤턴 유형의 일반화 경계가 도출된다.
• 라데마처 복잡도 기반의 일반화 경계는 데이터 분포와 함수 클래스 복잡도에 적응 가능하며, 소스 도메인의 가중치에 명시적인 의존성을 보인다.
• 학습 과정의 점근적 수렴 속도가 분석되었으며, 수렴 속도가 도메인 간 IPM 및 소스 도메인과 타겟 도메인의 표본 크기에 따라 달라진다는 것이 입증되었다.
• 수치 실험은 이론적 결과를 지지하며, 제안된 경계가 일반화 오차에 대한 도메인 이탈의 영향을 효과적으로 포착하고 있음을 보여준다.
• 유도된 경계는 동일한 분포 가정 하에서 이전 결과를 일반화하며, 소스 도메인 수가 1이거나 타겟 도메인이 명시적으로 모델링되지 않을 경우 기존의 도메인 적응 경계를 특수한 경우로 포함한다.