[논문 리뷰] Multi-Source Domain Adaptation with Mixture of Experts

Jiang Guo, Darsh Shah외 1명|arXiv (Cornell University)|2018. 09. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 4

한 줄 요약

이 논문은 비지도 다중 소스 도메인 적응을 위한 믹스처 오브 응용(모드) 프레임워크를 제안한다. 이 프레임워크는 은닉 표현 공간에서 맬라노비스 거리 기반의 학습 가능한 점-집합 거리 측도를 사용하여 타겟 예제와 다수의 소스 도메인 간의 관계를 모델링한다. 이 거리 측도는 타겟 레이블이 없이 메타학습을 통해 학습되며, 이로 인해 안정적인 성능 향상이 이루어지는데, 아마존 리뷰에서는 7%의 상대적 오차 감소, SANCL POS 태깅에서는 13%의 상대적 오차 감소를 기록한다. 또한 관련성이 없는 소스로부터의 악영향(음성 전이)을 효과적으로 완화한다.

ABSTRACT

We propose a mixture-of-experts approach for unsupervised domain adaptation from multiple sources. The key idea is to explicitly capture the relationship between a target example and different source domains. This relationship, expressed by a point-to-set metric, determines how to combine predictors trained on various domains. The metric is learned in an unsupervised fashion using meta-training. Experimental results on sentiment analysis and part-of-speech tagging demonstrate that our approach consistently outperforms multiple baselines and can robustly handle negative transfer.

연구 동기 및 목표

• 여러 이질적인 소스 도메인이 가용한 비지도 다중 소스 도메인 적응 환경에서 발생하는 도메인 이동 문제를 해결하기 위해.
• 각 타겟 예제에 대해 서로 다른 소스 도메인의 관련성이 다를 수 있음을 명시적으로 모델링하기 위해, 이를 균일하게 취급하는 것과는 다릅니다.
• 비지도 방식으로 예제-도메인 간 관계를 포착하는 점-집합 거리 측도를 학습하여 관련성이 없는 소스로부터의 음성 전이를 방지하기 위해.
• 학습된 거리 측도에서 유도된 애 attention 유사 가중치를 통해 도메인 특화 전문가들을 조합하여 적응 성능을 향상시키기 위해.
• 특히 트위터와 같은 노이즈가 많거나 관련성이 없는 소스 도메인(예: POS 태깅)을 포함할 경우에도 음성 전이에 대한 강건성을 확보하기 위해.

제안 방법

• 모델은 각 전문가가 단일 소스 도메인에서 훈련된 모델인 믹스처 오브 응용(MoE) 아키텍처를 사용하며, 예측은 가중치 합으로 조합된다.
• 가중치(α)는 각 소스 도메인의 예제 집합과 타겟 예제 사이의 은닉 표현 공간에서의 맬라노비스 거리 기반 점-집합 거리 측도에 의해 결정된다.
• 거리 측도는 메타학습 절차를 통해 학습된다: 각 메타작업에서 하나의 소스는 메타타겟으로 간주되고, 나머지 소스들은 메타소스로 간주되며, 메타타겟에서 MoE 손실을 최적화함으로써 모델과 거리 측도를 동시에 훈련시킨다.
• 도메인 간 이동을 줄이기 위해 소스 도메인과 타겟 도메인의 은닉 표현을 정렬하기 위해 적대적 훈련을 적용한다.
• 과도한 확신을 방지하고 일반화 성능을 향상시키기 위해 α에 대해 엔트로피 정규화를 적용한다.
• 백프로파게이션을 사용하여 엔드 투 엔드로 훈련되며, 타겟 도메인의 레이블 데이터가 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 학습 가능한 비지도 점-집합 거리 측도가 예제별 소스 관련성을 포착함으로써 다중 소스 도메인 적응을 향상시킬 수 있는가?
• RQ2 제안된 MoE 모델은 정확도와 강건성 측면에서 단일 소스 및 통합 다중 소스 기준 모델과 비교해 어떻게 성능을 내는가?
• RQ3 관련성이 없거나 노이즈가 많은 소스 도메인(예: 트위터)이 포함되었을 때 모델이 음성 전이를 효과적으로 완화할 수 있는가?
• RQ4 메타학습을 통해 타겟 도메인 애너테이션 없이도 효과적인 거리 측도 학습이 가능한가?
• RQ5 문제가 되는 소스(예: 트위터)의 데이터 양이 증가할 경우 성능이 얼마나 안정적인가?

주요 결과

• 아마존 리뷰 데이터셋에서 제안된 MoE 모델은 최고의 단일 소스 기준 모델 대비 7%의 상대적 오차 감소를 달성한다.
• SANCL POS 태깅 데이터셋에서 MoE 모델은 13%의 상대적 오차 감소를 기록하며, 모든 기준 모델을 능가한다.
• 적대적 훈련을 적용한 MoE-A 버전은 SANCL에서 평균 정확도 90.11%를 기록하여, 일부 설정에서 오라클 유사 통합 모델(uni-MS-A)을 초월한다.
• 모델은 관련성이 없는 소스에 대한 주의를 효과적으로 줄인다: 평균적으로 트위터에 대한 α 가중치는 타겟 도메인 전반에서 5.3%로 떨어지며, 음성 전이의 학습된 필터링을 나타낸다.
• 트위터 학습 인스턴스의 수가 증가함에 따라 통합 모델(uni-MS-A)의 성능은 악화되는 반면, MoE-A 모델은 안정적이고 향상되는 성능을 유지하며 노이즈 데이터에 대한 강건성을 보여준다.
• 절단 실험 결과, 엔트로피 정규화가 비적대적 및 적대적 환경 모두에서 성능 향상에 기여하며, 모델의 일반화 능력을 향상시킨다.