[논문 리뷰] Multi-source Attention for Unsupervised Domain Adaptation

Xia Cui, Danushka Bollegala|arXiv (Cornell University)|2020. 04. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 5

한 줄 요약

이 논문은 다중 소스 비지도 도메인 적응 방법을 제안하며, 타겟 도메인 분류 성능을 향상시키기 위해 다수의 소스 도메인에 대해 개별 인스턴스별 주의 가중치를 학습한다. 자기 학습과 가짜 레이블링, 그리고 학습된 유사도 맵을 활용하여, 각 타겟 인스턴스에 대해 관련성이 높은 소스 인스턴스를 동적으로 선택함으로써, 적대적 훈련이나 규칙 기반 레이블링 없이도 교차 도메인 감성 분류 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Domain adaptation considers the problem of generalising a model learnt using data from a particular source domain to a different target domain. Often it is difficult to find a suitable single source to adapt from, and one must consider multiple sources. Using an unrelated source can result in sub-optimal performance, known as the \emph{negative transfer}. However, it is challenging to select the appropriate source(s) for classifying a given target instance in multi-source unsupervised domain adaptation (UDA). We model source-selection as an attention-learning problem, where we learn attention over sources for a given target instance. For this purpose, we first independently learn source-specific classification models, and a relatedness map between sources and target domains using pseudo-labelled target domain instances. Next, we learn attention-weights over the sources for aggregating the predictions of the source-specific models. Experimental results on cross-domain sentiment classification benchmarks show that the proposed method outperforms prior proposals in multi-source UDA.

연구 동기 및 목표

• 특정 타겟 인스턴스에 대해 단일 소스가 최적일 수 없는 상황에서 다중 소스 비지도 도메인 적응에서의 악성 전이 문제를 해결한다.
• 공유 피봇이나 전역 인스턴스 풀링이 비효율적인 다중 소스 환경에서 피봇 기반 및 인스턴스 기반 방법의 한계를 극복한다.
• 각 타겟 인스턴스에 대해 다수의 소스 도메인에 대해 적응적으로 주의 가중치를 할당하여 관련성에 기반해 동적으로 소스를 선택할 수 있는 방법을 개발한다.
• 기존 접근 방식에서 흔히 사용되는 규칙 기반 인스턴스 레이블링 또는 적대적 훈련이 필요 없도록 한다.
• 가장 관련성이 높은 소스 인스턴스와 그 기여도를 식별함으로써 예측에 대한 해석 가능한 증거를 제공한다.

제안 방법

• 각 소스 도메인에서 독립적으로 소스 전용 분류 모델을 훈련한다.
• 가짜 레이블이 부여된 타겟 데이터를 사용하여 타겟 인스턴스와 소스 도메인 인스턴스 간의 유사도 맵을 학습하여 유사도를 측정한다.
• 가짜 레이블링을 사용하여 타겟 인스턴스의 예측을 개선하는 자기 학습 루프를 적용하여 모델의 신뢰도를 향상시킨다.
• 타겟 인스턴스에 대한 관련성에 따라 소스 예측을 가중치 부여하는 미분 가능한 주의 메커니즘을 사용하여 개별 인스턴스별 주의 가중치를 학습한다.
• 학습된 주의 가중치를 기반으로 소스 모델의 예측을 통합하여 최종 타겟 예측을 도출한다.
• 유사도 계산에 단일 거리 측정 기준(simpl_only)을 사용하여 다중 거리 또는 밴딧 기반 방법 대비 단순성과 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 다중 소스 비지도 도메인 적응 환경에서 동적으로 개별 인스턴스별 소스 선택을 효과적으로 학습할 수 있는가?
• RQ2 정확도와 강건성 측면에서 제안된 방법은 적대적 및 규칙 기반 가짜 레이블링 접근 방식과 비교해 어떻게 성능을 내는가?
• RQ3 주의 메커니즘이 특정 타겟 인스턴스에 대해 가장 관련성이 높은 소스 인스턴스를 어느 정도 정확하게 식별하고 우선순위를 정할 수 있는가?
• RQ4 자기 학습 및 가짜 레이블링 파이프라인을 다수의 소스에 대한 주의 메커니즘과 결합했을 때 성능 향상이 이루어지는가?
• RQ5 모델이 상위 5개 소스 인스턴스를 강조하여 예측에 대한 설명 가능한 증거를 제공할 수 있는가?

주요 결과

• 제안된 방법은 Chen2012 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 타겟 도메인 K에서 테스트 정확도 87.48%를 기록하여 이전의 다중 소스 UDA 방법들을 능가했다.
• 주의 메커니즘이 개별 타겟 인스턴스에 대해 가장 관련성이 높은 소스 도메인을 성공적으로 식별하였으며, 도메인 주의 점수는 적절한 소스 선택에 대해 높은 신뢰도를 보였다.
• 도메인 B의 부정적 타겟 인스턴스에 대해, 도메인 E의 'Serious problem.'이 점수 0.16943로 최상위 기여자로 식별되었으며, 이는 모델의 설명 가능성(해석 가능성)을 입증한다.
• 모든 단계에서 일관된 성능 향상이 관찰되었으며, 베이스라인(79.46%), 자기 학습(79.60%), 가짜 레이블링(79.57%), 주의 메커니즘(82.96%) 단계에서 도메인 D에서 성능 향상이 이루어졌다.
• 유사도 맵과 주의 가중치가 함께 작용하여 인스턴스별 소스 선택을 가능하게 하였으며, 부정적 타겟 인스턴스는 주로 부정적 소스 인스턴스에서 영향을 받고, 반대로 정적 타겟 인스턴스는 정적 소스 인스턴스에서 영향을 받는 경향을 보였다.
• 피봇 기반 및 인스턴스 기반 베이스라인을 모두 능가하며, 상위 5개 소스 인스턴스 검색을 통해 명확하고 증거 기반의 예측 근거를 제공한다.