[논문 리뷰] Algorithms and Theory for Multiple-Source Adaptation

Judy Hoffman, Mehryar Mohri외 1명|arXiv (Cornell University)|2018. 05. 20.

Domain Adaptation and Few-Shot Learning인용 수 108

한 줄 요약

이 논문은 여러 소스 도메인 적응을 위한 정규화된 분포-가중 합을 제안하고, 결정적 및 확률적 설정 모두에서 교차 엔트로피 손실을 포함한 강력한 이론적 보장을 증명하며, 가중 혼합을 계산하기 위한 DC-프로그래밍 기반 알고리즘을 제공하고, 여러 실제 데이터세트에서 강건성과 우수한 실험 성능을 시연합니다.

ABSTRACT

This work includes a number of novel contributions for the multiple-source adaptation problem. We present new normalized solutions with strong theoretical guarantees for the cross-entropy loss and other similar losses. We also provide new guarantees that hold in the case where the conditional probabilities for the source domains are distinct. Moreover, we give new algorithms for determining the distribution-weighted combination solution for the cross-entropy loss and other losses. We report the results of a series of experiments with real-world datasets. We find that our algorithm outperforms competing approaches by producing a single robust model that performs well on any target mixture distribution. Altogether, our theory, algorithms, and empirical results provide a full solution for the multiple-source adaptation problem with very practical benefits.

연구 동기 및 목표

• 대상 도메인 데이터에 접근하지 못하고 모든 소스를 풀링하지 않는 상태에서 다중 소스 도메인으로부터의 학습을 촉진한다.
• 대상 분포가 소스 분포의 혼합인 확률적 설정으로 구성된 Mansour 등 의 결과를 갖는 확장이다.
• 교차 엔트로피 및 기타 손실과 함께 작동하는 정규화된 분포 가중 혼합을 도입한다.
• 수렴 보장을 갖는 DC-프로그래밍을 통해 혼합 가중치 z를 계산하는 알고리즘을 제공한다.
• 실제 데이터셋에 대한 광범위한 실험을 통해 강건성과 실용적 이점을 입증한다.

제안 방법

• 회귀 및 확률 모델에 대한 분포 가중 결합 h_z^eta를 정의한다(식 (1) 및 (2)).
• 볼록 결합만으로는 충분하지 않으며 분포 가중 규칙이 우수한 보장을 제공한다.
• 정리 1: 완만한 발산 조건에서 대상 D_T에 대해 L(D_T,h_z^eta)가 작게 되도록 z와 eta의 존재를 보인다.
• 정규화된 예측을 갖는 교차 엔트로피 손실에 특화하여 정규화된 버전 \u001bar{h}_z^eta를 제시하고 그것의 보장을 증명한다(정리 3).
• 최적화 목적함수의 DC-분해를 개발하고 z를 찾기 위한 DC-프로그래밍 알고리즘을 공식화한다(문제 (4) 및 식 (5)-(6)).
• 소스 밀도가 직접적으로 이용 가능하지 않을 때 접근법을 구현하기 위한 경험적 밀도 추정 기반 절차를 제공한다(코릴리 11).

실험 결과

연구 질문

• RQ1 대상 데이터를 사용하지 않고도 모든 대상 혼합에서 작은 손실을 달성할 수 있도록 소스 예측기의 분포 가중 결합이 가능한가?
• RQ2 정규화 및 확률적 확장이 교차 엔트로피 손실에 대한 강력한 보장을 보존하는가?
• RQ3 실제로 최적의 혼합 가중치 z를 어떻게 효율적으로 계산할 수 있는가?
• RQ4 밀도 추정 오차가 방법의 이론적 보장과 실험적 성능에 미치는 영향은 무엇인가?

주요 결과

• 정리 1은 완만한 발산 하에서 대상에 대해 분포 가중 예측기 h_z^eta가 낮은 손실을 달성하도록 혼합 z와 여유 파라미터 eta의 존재를 보장한다.
• 보조정리 2는 강건성을 보인다: 조건부 확률이 소스에 의존하지 않으면 어떤 혼합에서든 손실은 최소 epsilon+delta이다.
• 교차 엔트로피 손실의 경우 정리 3은 유사한 강건성 보장을 갖는 정규화된 분포 가중 예측기를 제공한다.
• z를 찾기 위한 DC-프로그래밍 알고리즘은 정지점으로 수렴하며, 최적성을 평가하는 실용적인 테스트가 있다.
• 감정 분석, 숫자 인식, Office 데이터셋에 대한 실험은 DW(분포 가중) 방법이 기준보다 성능이 우수하고 대상 혼합에 걸쳐 강건하며 대상 데이터가 필요하지 않음을 보여준다.
• DW는 특권적(lambda-comb) 또는 대상 인식 방법에 비해도 유리하게 경쟁하며 대상 라벨이나 재학습이 필요하지 않다.