[논문 리뷰] Moment-Based Domain Adaptation: Learning Bounds and Algorithms

Werner Zellinger|arXiv (Cornell University)|2020. 04. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 189인용 수 4

한 줄 요약

이 논문은 유한한 모멘트와 부드러움 조건을 사용하여 잘못 분류 위험을 제한하는 순간 기반 도메인 적응 프레임워크를 제안한다. 이는 약한 분포 유사성 가정 하에서도 강건한 일반화를 가능하게 한다. 또한 신경망 정규화를 위한 새로운 순간-거리 측정법을 도입하여, 더 강한 가정을 필요로 하는 기존 방법들보다 벤치마크 및 산업 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

This thesis contributes to the mathematical foundation of domain adaptation as emerging field in machine learning. In contrast to classical statistical learning, the framework of domain adaptation takes into account deviations between probability distributions in the training and application setting. Domain adaptation applies for a wider range of applications as future samples often follow a distribution that differs from the ones of the training samples. A decisive point is the generality of the assumptions about the similarity of the distributions. Therefore, in this thesis we study domain adaptation problems under as weak similarity assumptions as can be modelled by finitely many moments.

연구 동기 및 목표

• 분포 이탈 문제를 다루기 위해 분포 유사성에 대한 가정을 완화한다.
• 유한한 모멘트와 엔트로피 조건을 사용하여 약한 가정 하에서 잘못 분류 위험을 이론적으로 제한하는 프레임워크를 개발한다.
• 소스 도메인과 타겟 도메인의 순간 기반 거리 측정법에 기반한 실용적인 도메인 적응 알고리즘을 설계한다. 이 알고리즘은 타겟 도메인의 레이블이 없는 데이터만 필요하다.
• 대규모 벤치마크와 실제 산업 응용의 회귀 문제에서 제안된 방법의 효과성을 입증한다.

제안 방법

• 신경망 정규화를 위한 순간-거리 측정법을 제안하여 소스 도메인과 타겟 도메인의 순간 간 격차를 최소화한다.
• 기본 분포에 대한 유한 차수의 모멘트와 부드러움(엔트로피) 조건을 사용하여 일반화 위험을 이론적으로 제한하는 프레임워크를 도입한다.
• 타겟 도메인의 레이블이 없는 데이터만을 활용하여 도메인 간 1차 모멘트를 정렬하는 도메인 적응 알고리즘을 설계한다.
• 학습 위험, 표본 크기, 모멘트 유사성, 엔트로피 제약 조건에 기반하여 제안된 방법의 잘못 분류 위험에 대한 상한을 유도한다.
• 시간 시리즈 모델링(제조 분야)과 분석 화학에서의 캘리브레이션(산업 문제 두 가지)에 이 프레임워크를 적용한다.
• 대규모 벤치마크와 실제 데이터셋을 사용한 경험적 검증을 통해 표준 도메인 적응 및 회귀 방법과의 성능를 비교한다.

실험 결과

연구 질문

• RQ1 약한 분포 유사성 가정, 특히 유한한 수의 모멘트를 가정할 때, 분류 모델에 대해 이론적 위험 제한을 설정할 수 있는가?
• RQ2 어떻게 순간 기반 거리 측정법을 사용하여 신경망의 정규화를 통해 도메인 적응의 일반화 성능을 향상시킬 수 있는가?
• RQ3 제안된 순간-거리 측정법과 워샤르슈타인 또는 MMD와 같은 기존 확률 거리 측정법 사이의 관계는 무엇인가?
• RQ4 제안된 방법은 더 강한 분포 가정을 필요로 하는 기존 도메인 적응 접근법을 능가할 수 있는가?
• RQ5 레이블이 없는 타겟 데이터만을 사용하는 실제 산업 응용의 회귀 과제에서 이 방법은 얼마나 효과적인가?

주요 결과

• 가정이 완화되었을 때 제안된 방법은 기존 방법보다 낮은 잘못 분류 위험을 달성하여, 약한 모멘트 유사성 조건 하에서도 강건함을 입증한다.
• 이론적 제한은 낮은 학습 위험, 큰 표본 크기, 모멘트 유사성, 엔트로피 조건이 함께 작용할 경우 낮은 일반화 위험을 보장함을 보여준다.
• 순간-거리 측정법이 MMD 및 워샤르슈타인과 같은 다른 확률 거리 측정법과 관련이 있음을 입증하여 이론적 기반을 제공한다.
• 대규모 벤치마크에서, 더 강한 분포 가정을 필요로 하는 기존 도메인 적응 알고리즘보다 제안된 방법이 뛰어난 성능을 보였다.
• 제조 분야에서 첫 번째 모멘트 기반 알고리즘이 예측할 수 없는 분포에서 시간 시리즈를 성공적으로 모델링하여 표준 회귀 모델을 능가했다.
• 분석 화학 분야에서 레이블이 없는 데이터만을 사용하는 캘리브레이션 방법이 두 개의 실제 산업 데이터셋에서 표준 방법을 능가하여 실용적 유용성을 입증했다.