[논문 리뷰] Principled Hybrids of Generative and Discriminative Domain Adaptation

Han Zhao, Zhenyao Zhu외 3명|arXiv (Cornell University)|2017. 05. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 4인용 수 3

한 줄 요약

이 논문은 유연한 사전 분포를 통해 파라미터를 모델링함으로써 생성적 및 판별적 도메인 적응을 통합하는 원칙적인 확률적 프레임워크를 제안한다. 이는 라벨이 부여된 소스 데이터와 라벨이 없는 소스/타겟 데이터를 동시에 활용할 수 있게 한다. 프레임워크는 오토에인코더 복원 손실이 주변 확률의 상한선임을 정당화하며, 이는 DAuto라는 신경망 모델로 이어진다. 이 모델은 텍스트, 이미지, 음성 도메인 적응 작업에서 최신 기술(SOTA)을 초월한다.

ABSTRACT

We propose a probabilistic framework for domain adaptation that blends both generative and discriminative modeling in a principled way. Under this framework, generative and discriminative models correspond to specific choices of the prior over parameters. This provides us a very general way to interpolate between generative and discriminative extremes through different choices of priors. By maximizing both the marginal and the conditional log-likelihoods, models derived from this framework can use both labeled instances from the source domain as well as unlabeled instances from both source and target domains. Under this framework, we show that the popular reconstruction loss of autoencoder corresponds to an upper bound of the negative marginal log-likelihoods of unlabeled instances, where marginal distributions are given by proper kernel density estimations. This provides a way to interpret the empirical success of autoencoders in domain adaptation and semi-supervised learning. We instantiate our framework using neural networks, and build a concrete model, DAuto. Empirically, we demonstrate the effectiveness of DAuto on text, image and speech datasets, showing that it outperforms related competitors when domain adaptation is possible.

연구 동기 및 목표

• 머신 러닝에서 소스 도메인의 라벨이 부여된 데이터가 타겟 도메인과 다를 때 발생하는 도메인 이동 문제를 해결하기 위해.
• 생성적 및 판별적 모델링을 하나의 확률적 프레임워크 안에서 통합하여 두 극단 사이를 원칙적으로 보간할 수 있도록 하기 위해.
• 오토에인코더가 준지도 학습 및 도메인 적응 설정에서 성능을 향상시키는 이유를 원칙적인 확률적 해석으로 설명할 수 있도록 하기 위해.
• 라벨이 부여된 데이터와 라벨이 없는 데이터를 소스 및 타겟 도메인에서 모두 활용하여 일반화 성능을 향상시킬 수 있는 유연하고 종단 간(end-to-end) 딥 러닝 모델(DAuto)을 개발하기 위해.
• 시간적 시리얼 데이터 모델링으로의 확장을 통해, 다양한 발음 스타일 간 이동에 효과적인 음성 인식에서의 효용성을 입증하기 위해.

제안 방법

• 생성적 및 판별적 모델이 공유 파라미터와 작업 전용 파라미터에 대한 사전 분포에 따라 특수한 경우로 나타나는 계층적 베이지안 모델을 사용한다.
• 라벨이 없는 데이터를 위한 주변 로그우도와 라벨이 있는 데이터를 위한 조건부 로그우도를 동시에 최대화함으로써, 양 도메인의 라벨이 없는 인스턴스를 활용할 수 있도록 한다.
• 주변 분포에 커널 밀도 추정을 가정할 경우, 오토에인코더의 복원 손실이 음의 주변 로그우도의 상한선과 공식적으로 연결된다.
• 공유 인코더 구성요소, 판별적 헤드, 그리고 소스 및 타겟 도메인 모두에 대한 복원 브랜치를 갖춘 딥 네트워크를 사용하여 DAuto를 구현한다.
• 판별적, 도메인 불변성, 복원 목적의 공동 최적화를 통해 모델을 훈련하며, 적대적 또는 MMD 스타일의 도메인 정렬을 사용한다.
• 시계열 모델링으로의 확장을 위해 아키텍처를 순차적 데이터를 처리할 수 있도록 변형하였으며, 이는 미국-중국 및 중국-미국 전환에서의 발음 스타일 간 이동에 대한 음성 인식에서 검증되었다.

실험 결과

연구 질문

• RQ1 생성적 및 판별적 모델링을 도메인 적응에서 원칙적으로 보간할 수 있는 통합된 확률적 프레임워크를 설계할 수 있는가?
• RQ2 오토에인코더가 준지도 학습 및 도메인 적응 설정에서 성능 향상을 보이는 이유는 원칙적인 확률적 해석으로 설명할 수 있는가?
• RQ3 단일 딥 뉴럴 네트워크 모델이 라벨이 부여된 데이터와 라벨이 없는 데이터를 동시에 활용하여 판별적, 도메인 불변성, 강건한 표현을 동시에 효과적으로 학습할 수 있는가?
• RQ4 제안된 프레임워크는 텍스트, 이미지, 음성 등 다양한 데이터 유형에서의 교차 도메인 전이 학습에서 기존 최신 기술(SOTA) 방법을 초월하는가?
• RQ5 이 프레임워크는 음성과 같은 다양한 발음 스타일을 가진 순차적 데이터로 자연스럽게 확장되어 실생활 응용에서의 강건성 향상에 기여하는가?

주요 결과

• DAuto는 Amazon 벤치마크 데이터셋에서 16개의 도메인 적응 작업 전반에서 MLP, mSDA, Ladder, DANN을 모두 능가하는 최신 기술 성능을 달성했다.
• MNIST 합성 실험에서 도메인 이동이 중간 정도일 경우 DAuto가 뛰어난 성능을 보였으며, 이는 타겟 도메인의 라벨이 없는 데이터를 효과적으로 활용할 수 있음을 확인했다.
• 음성 인식에서 DAuto는 미국-중국 및 중국-미국 전환에서 기준 모델 대비 CTC 손실을 최대 25% 감소시켰으며, 이는 다양한 발음 간 이동에 효과적임을 보여주었다.
• 쌍체 t-검정 결과, DAuto의 DANN 대비 성능 향상은 평균적으로 통계적으로 유의미하다(p = 0.072), 사례의 25%에서는 p < 0.05 이하였다.
• 소스 도메인과 타겟 도메인이 유사할 경우(예: 미국 대비 중국), DANN과 DAuto 모두 기준 모델을 초월하여 성능 향상을 보였으며, 이는 준지도 학습 능력을 확인했다.
• 정성적 분석 결과, DAuto는 모든 방법이 실패하는 어려운 적응 상황에서도 강건성을 유지하며, 분포 이동 하에서의 일반화 능력 향상을 시사했다.