[논문 리뷰] A Discriminative Technique for Multiple-Source Adaptation

Corinna Cortes, Mehryar Mohri외 2명|arXiv (Cornell University)|2020. 08. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 6

한 줄 요약

이 논문은 레이블이 없는 소스 데이터로부터 조건부 확률을 추정하는 것에 의존함으로써 어려운 밀도 추정에 의존하지 않는 다중 소스 도메인 적응(MSA)을 위한 새로운 판별적 접근법을 제안한다. 이 방법은 이전의 생성적 접근법보다 뛰어난 성능과 더 강력한 이론적 보장을 제공하며, 실제 및 합성 데이터셋에서의 실험에서 생성적 MSA 기준선과 다른 도메인 적응 기준선을 모두 능가한다.

ABSTRACT

We present a new discriminative technique for the multiple-source adaptation, MSA, problem. Unlike previous work, which relies on density estimation for each source domain, our solution only requires conditional probabilities that can easily be accurately estimated from unlabeled data from the source domains. We give a detailed analysis of our new technique, including general guarantees based on Rényi divergences, and learning bounds when conditional Maxent is used for estimating conditional probabilities for a point to belong to a source domain. We show that these guarantees compare favorably to those that can be derived for the generative solution, using kernel density estimation. Our experiments with real-world applications further demonstrate that our new discriminative MSA algorithm outperforms the previous generative solution as well as other domain adaptation baselines.

연구 동기 및 목표

• 타겟 도메인의 레이블이 없는 상황에서 다수의 소스 도메인에서 유도된 예측기들을 통합하는 데 도전하는 것.
• 정확한 밀도 추정이 필요 없도록 실용적이고 이론적으로 타당한 다중 소스 도메인 적응(MSA) 방법을 개발하는 것.
• 특히 부족한 군집에 해당하는 타겟 도메인에서 성능을 향상시키는 것.
• 조건부 Maxent 기반의 조건부 확률 추정에 대한 Rényi 산란도와 유한 샘플 경계를 기반으로 한 일반화 보장을 제공하는 것.

제안 방법

• 방법은 레이블이 없는 소스 데이터를 기반으로 훈련된 조건부 Maxent를 사용하여 테스트 예제가 각 소스 도메인에 속할 확률을 추정한다.
• 소스 예측기의 최적 혼합 가중치를 찾기 위해 MSA 문제를 DC-프로그래밍 최적화 문제로 공식화한다.
• 문제의 판별적 성격을 고려해 새로 개발된 DC-분해를 사용하며, 이는 이전의 생성적 방법과 다릅니다.
• 정확도와 안정성이 높은 실용적 성능을 위해 생성적 밀도 추정을 소스 소속 분류의 판별적 분류로 대체한다.
• 이론적 분석은 타겟과 소스 혼합 분포 간의 Rényi 산란도에 기반하며, 조건부 Maxent 기반 일반화 경계를 제공한다.

실험 결과

연구 질문

• RQ1 밀도 추정에 의존하는 기존 생성적 방법보다 판별적 접근이 MSA에서 성능을 뛰어나게 할 수 있는가?
• RQ2 조건부 확률에 기반한 판별적 MSA 방법에 대해 도출할 수 있는 이론적 보장은 무엇인가?
• RQ3 실제로 제안된 방법의 성능은 생성적 MSA 및 다른 도메인 적응 기준선과 비교해 어떻게 되는가?
• RQ4 타겟 분포가 소스 분포의 볼록 조합이 아닌 경우에도 이 방법이 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 DMSA 방법은 CNN 및 Adult 데이터셋을 포함한 모든 테스트 데이터셋에서 생성적 MSA(GMSA) 기준선을 능가한다.
• CNN 데이터셋에서 DMSA는 결합된 Doc-NDoc 도메인에서 95.4%의 정확도를 기록했으며, GMSA의 94.7%를 초월했다.
• Adult 데이터셋에서 DMSA는 평균 75.3%의 정확도를 기록해 GMSA의 73.3%를 뛰어넘었다.
• 합성 실험에서는 다양한 샘플 크기에서 DMSA가 GMSA를 일관되게 능가했으며, 더 빠른 수렴 속도를 보였다.
• 이론적 분석 결과, DMSA의 일반화 경계는 커널 밀도 추정을 사용하는 생성적 방법보다 더 날카로웠다.
• 특히 겹치는 영역에서 밴드위드 선택이 불량할 경우 커널 밀도 추정이 실패하는 상황에서도 이 방법은 강건성을 보였다.