[논문 리뷰] Domain Adaptation: Learning Bounds and Algorithms

Yishay Mansour, Mehryar Mohri외 1명|arXiv (Cornell University)|2009. 02. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 461

한 줄 요약

이 논문은 임의의 손실 함수를 고려한 도메인 적응을 위한 새로운 불일치 거리(discrepancy distance)를 제안하며, 더 날카운 generalization 경계를 가능하게 하고, 경험적 불일치를 최소화하는 새로운 알고리즘을 동기화한다. Rademacher 복잡도를 통한 이론적 보장을 제공하며, 0-1 손실의 경우 선형 프로그래밍, 제곱 손실의 경우 준선형 프로그래밍을 활용한 효율적인 알고리즘을 개발하여 初기 실험에서 향상된 성능을 보였다.

ABSTRACT

This paper addresses the general problem of domain adaptation which arises in a variety of applications where the distribution of the labeled sample available somewhat differs from that of the test data. Building on previous work by Ben-David et al. (2007), we introduce a novel distance between distributions, discrepancy distance, that is tailored to adaptation problems with arbitrary loss functions. We give Rademacher complexity bounds for estimating the discrepancy distance from finite samples for different loss functions. Using this distance, we derive novel generalization bounds for domain adaptation for a wide family of loss functions. We also present a series of novel adaptation bounds for large classes of regularization-based algorithms, including support vector machines and kernel ridge regression based on the empirical discrepancy. This motivates our analysis of the problem of minimizing the empirical discrepancy for various loss functions for which we also give novel algorithms. We report the results of preliminary experiments that demonstrate the benefits of our discrepancy minimization algorithms for domain adaptation.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터가 서로 다를 수는 있지만 관련된 분포를 따르는 도메인 적응 문제를 다루기 위해.
• 0-1 분류 외의 임의의 손실 함수에 적용 가능한 일반 목적의 거리 척도인 불일치 거리(discrepancy distance)를 개발하기 위해.
• 다양한 손실 함수를 고려한 도메인 적응에 대해 Rademacher 복잡도를 활용한 데이터에 의존하는 일반화 경계를 유도하기 위해.
• 경험적 불일치를 최소화하는 알고리즘을 설계하고 분석하여, 소스 데이터의 재가중화를 통해 더 나은 적응을 가능하게 하기 위해.
• 0-1 손실 및 제곱 손실 설정에서 불일치 최소화를 위한 효율적인 최적화 방법—선형 프로그래밍과 준선형 프로그래밍—제공하기 위해.

제안 방법

• 임의의 손실 함수로 일반화된 d_A 거리에 기반한 불일치 거리를 제안하며, 적응에 관련된 분포 차이를 캡처한다.
• 경험적 불일치에 따라 달라지는 Rademacher 복잡도 기반의 학습 경계를 도출한다.
• 소스 데이터와 타겟 데이터에 대해 학습된 가설 간의 점별 손실 차이가 경험적 불일치로 유계임을 입증한다.
• 도메인 적응 문제를 재가중화 문제로 재정의한다: 동일한 지지 집합 위에서 소스 및 타겟 경험적 분포 간의 불일치를 최소화한다.
• 0-1 손실의 경우, 불일치 최소화 문제를 선형 프로그래밍(LP)으로 공식화하여 1차원에서 효율적인 조합적 해법을 가능하게 한다.
• 제곱 손실의 경우, 문제를 준선형 프로그래밍(SDP)으로 줄여내며, 볼록 최적화를 통해 다항식 시간 내에 해결 가능하다.

실험 결과

연구 질문

• RQ1 0-1 분류 외의 임의의 손실 함수에 적용 가능한 일반 목적의 불일치 거리를 도메인 적응에 정의할 수 있는가?
• RQ2 Rademacher 복잡도를 활용해 임의의 손실 함수를 고려한 도메인 적응에 대해 더 날카운 데이터에 의존하는 일반화 경계를 어떻게 도출할 수 있는가?
• RQ3 경험적 불일치를 소스 및 타겟 분포 간에 최소화하는 것이 실제로 일반화 성능 향상에 어느 정도 기여하는가?
• RQ4 0-1 손실 및 제곱 손실 설정에서 볼록 최적화 기법을 활용해 불일치 최소화 문제를 효율적으로 해결할 수 있는가?
• RQ5 불일치 거리와 소스 및 타겟 데이터에서 학습된 모델 간의 성능 격차 사이에 이론적 연결 고리는 무엇인가?

주요 결과

• 불일치 거리는 d_A 거리를 일반화하며, 0-1 분류의 경우 그와 일치하지만, 회귀 및 기타 손실 함수에도 적용 가능하다.
• Rademacher 복잡도를 활용한 도메인 적응에 대한 일반화 경계가 도출되었으며, 경험적 불일치에 따라 더 날카운 데이터에 의존하는 경계가 도출되었다.
• 소스 및 타겟 데이터에서 학습된 가설 간의 점별 손실 차이는 경험적 불일치 거리로 유계이다.
• 0-1 손실의 경우, 불일치 최소화 문제는 선형 프로그래밍으로 공식화되며, 1차원에서 조합적 알고리즘을 통해 해결된다.
• 제곱 손실의 경우, 문제는 준선형 프로그래밍(SDP)으로 재구성되며, 다항식 시간 내에 해결 가능하다.
• 초기 실험 결과는 불일치 최소화가 적응 성능을 향상시킴을 확인하며, 이론적 프레임워크의 타당성을 검증한다.