[논문 리뷰] Multiple-Source Adaptation for Regression Problems

Judy Hoffman, Mehryar Mohri외 1명|arXiv (Cornell University)|2017. 11. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 3

한 줄 요약

이 논문은 제곱 손실을 최적화하고 DC-프로그래밍을 사용하여 다중 소스 도메인 적응에서 회귀 문제에 대해 분포 가중 예측기를 제안한다. 이 방법은 어떤 목표 도메인 혼합에도 강건한 성능을 달성한다. 이론적 및 실험적으로, 목표 혼합 비율이 알려지지 않은 상황에서도 기존의 전문가 모델 및 도메인 적응 모델보다 단일 학습 모델이 뛰어난 성능을 보임을 입증한다.

ABSTRACT

We present a detailed theoretical analysis of the problem of multiple-source adaptation in the general stochastic scenario, extending known results that assume a single target labeling function. Our results cover a more realistic scenario and show the existence of a single robust predictor accurate for \emph{any} target mixture of the source distributions. Moreover, we present an efficient and practical optimization solution to determine the robust predictor in the important case of squared loss, by casting the problem as an instance of DC-programming. We report the results of experiments with both an artificial task and a sentiment analysis task. We find that our algorithm outperforms competing approaches by producing a single robust model that performs well on any target mixture distribution.

연구 동기 및 목표

• 목표 데이터가 가용하지 않은 상황에서 다수의 소스 예측기만 제공될 때 회귀 문제의 도메인 적응 문제를 해결하기 위해.
• 정적 시나리오에서의 다중 소스 적응 이론적 보장을 확장하여 현실적인 데이터 분포를 고려한 확률적 시나리오로 일반화하기 위해.
• 모든 소스 도메인 혼합에 대해 잘 일반화되는 단일 강건한 예측기를 효율적으로 학습하기 위한 최적화 방법을 개발하기 위해.
• 인위적 및 실제 감성 분석 작업에서 제안된 방법을 경험적으로 검증하여 기존 기준 모델들보다 뛰어난 성능을 보여주기 위해.

제안 방법

• 제곱 손실 하에 다중 소스 적응 문제를 DC-프로그래밍 문제로 재구성하여 효율적인 최적화를 가능하게 한다.
• 목표 혼합에 대한 기대 손실을 최소화하는 방식으로 소스 예측기의 분포 가중 조합을 사용한다.
• 라벨 없이도 진정한 분포를 근사하기 위해 소스 도메인의 경험적 근사치(예: 바이그램 언어 모델)를 활용한다.
• 고정점 반복을 적용하여 최적화 문제를 해결함으로써 목표 레이블이 필요 없도록 한다.
• 모르는 목표 혼합 분포에 대해 유효한 단일 예측기를 학습하는 실용적인 알고리즘을 구현한다.
• 커널 방법과 샘플 재가중 기법(KMM)을 기준 모델로 사용하지만, KMM는 학습 중에 타겟 데이터의 레이블 없는 데이터가 필요하다.

실험 결과

연구 질문

• RQ1 다수의 소스 도메인 혼합에 대해 어떤 목표 혼합이든 잘 작동하는 단일 강건한 예측기를 학습시킬 수 있는가?
• RQ2 다수의 소스 적응에 대한 이론적 보장을 정적 레이블링 함수에서 확률적 레이블링 함수로 어떻게 확장할 수 있는가?
• RQ3 제곱 손실 하에 분포 가중 예측기를 효율적으로 계산하기 위한 최적화 프레임워크는 무엇인가?
• RQ4 진짜 목표 혼합 비율이 알려지지 않은 상황에서 제안된 방법은 기준 모델들보다 어떻게 비교되는가?

주요 결과

• 제안된 분포 가중(DW) 예측기는 모든 테스트된 목표 혼합 비율, 단일 소스 및 다중 소스 조합을 포함하여 모든 기준 모델, 특히 전문가 λ-조합 및 KMM를 능가한다.
• 목표 도메인이 단일 소스 도메인일 경우조차도 DW는 소스 전용 예측기보다 낮은 MSE를 기록하여 개별 도메인을 초월한 일반화 능력을 입증한다.
• 감성 분석 작업에서 DW는 10회 반복 평균 MSE 0.142, 표준편차 0.018를 기록하여 균일 조합(0.178)과 개별 소스 모델보다 뛰어난 성능을 보였다.
• KMM와 달리 타겟 데이터의 레이블 없는 데이터가 필요 없이 단일 강건한 모델을 성공적으로 학습시켰다.
• 실험 결과는 분포 가중 예측기의 이론적 강건성이 다양한 혼합 분포에서 실질적으로도 성립함을 확인했다.
• DC-프로그래밍 공식화는 효율적인 최적화를 가능하게 하여 실생활 회귀 과제에 실용적인 방법이 되었다.