[논문 리뷰] Cross-Domain Sentiment Classification with In-Domain Contrastive Learning

Tian Li, Xiang Chen외 3명|arXiv (Cornell University)|2020. 12. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 39인용 수 4

한 줄 요약

이 논문은 분포 매칭에 의존하지 않고 도메인 불변 표현을 학습함으로써 일반화를 향상시키는 도메인 내 대비 학습 프레임워크를 제안한다. 레이블 분포 이탈에 따라 도메인 내 대비 학습 또는 엔트로피 최소화를 적응적으로 적용함으로써 표준 벤치마크에서 최신 기준 성능(SOTA)을 달성하며, 큰 도메인 이탈 상황에서도 더 나은 결정 경계 정렬과 오차 감소를 통해 강력한 베이스라인을 능가한다.

ABSTRACT

Contrastive learning (CL) has been successful as a powerful representation learning method. In this paper, we propose a contrastive learning framework for cross-domain sentiment classification. We aim to induce domain invariant optimal classifiers rather than distribution matching. To this end, we introduce in-domain contrastive learning and entropy minimization. Also, we find through ablation studies that these two techniques behaviour differently in case of large label distribution shift and conclude that the best practice is to choose one of them adaptively according to label distribution shift. The new state-of-the-art results our model achieves on standard benchmarks show the efficacy of the proposed method.

연구 동기 및 목표

• 큰 레이블 분포 이탈 상황에서의 도메인 이탈 문제를 해결하기 위해.
• 분포 매칭을 피하고 도메인 불변 최적 분류기의 성능을 향상시키기 위한 대비 학습 프레임워크를 개발하기 위해.
• 다양한 레이블 분포 이탈 수준에서 도메인 내 대비 학습과 엔트로피 최소화의 상호보완적 행동을 조사하기 위해.
• 철저히 설계된 사전 과제를 통해 분류 가능하고 이식 가능한 표현을 학습함으로써 모델의 일반화 성능을 향상시키기 위해.
• 적대적 훈련이나 도메인 간 격차 최소화에 의존하지 않고 표준 교차 도메인 감성 분류 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 각 도메인(소스 또는 타겟) 내에서만 양성 및 음성 쌍을 형성하는 도메인 내 대비 학습을 도입하여, 도메인 간 대비로 인한 도메인 간 격차 증가를 방지한다.
• 대비 학습을 위한 의미 있는 표현 학습을 보장하기 위해 동의어 치환과 역번역을 데이터 증강 기법으로 사용한다.
• 미라벨 타겟 도메인 데이터에 대해 확신 있는 예측을 유도함으로써 일반화 성능을 향상시키기 위해 엔트로피 최소화를 적용한다. 이는 낮은 이탈 설정에서 유리하다.
• 소스와 타겟 도메인 간 레이블 분포 이탈의 크기에 따라 도메인 내 대비 학습과 엔트로피 최소화 사이에서 적응적으로 선택한다.
• 도메인 내 대비 학습과 엔트로피 최소화를 통합된 프레임워크로 조합하며, t-SNE 시각화를 통해 클러스터링 향상과 결정 경계 정렬 개선을 확인한다.
• 특징 추출기로 BERT를 사용하고, 대비 및 엔트로피 정규화 목표를 갖는 종단 간 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 도메인 내 대비 학습은 표준 대비 학습에 비해 도메인 간 격차와 결정 경계 정렬 측면에서 어떻게 다를까?
• RQ2 레이블 분포 이탈 정도가 다양할 경우 도메인 내 대비 학습과 엔트로피 최소화는 각각 어떻게 성능을 발휘할까?
• RQ3 도메인 내 대비 학습과 엔트로피 최소화 사이에서 적응적 선택 전략을 도입하면 다양한 도메인 이탈 시나리오에서 전체 성능이 향상되는가?
• RQ4 감성 인식 데이터 증강(동의어 치환, 역번역)을 사전 과제로 사용할 경우 교차 도메인 감성 분류에서 이식 가능성은 어떻게 향상되는가?
• RQ5 분포 매칭을 피할 경우 큰 레이블 분포 이탈 상황에서 모델의 강건성은 어느 정도 향상되는가?

주요 결과

• 도메인 내 대비 학습은 도메인 간 분산을 줄이고 타겟 도메인에서 양성 및 음성 클러스터 간 마진 분리를 향상시켜 표준 대비 학습보다 우수한 성능을 발휘한다.
• 엔트로피 최소화는 큰 레이블 분포 이탈 상황에서 성능이 떨어지며, 이는 타겟 도메인의 다수 클래스에 모델이 편향되어 오류가 증가하기 때문이다.
• 레이블 분포 이탈이 클 경우(예: K→D에서 7.39:1), 도메인 내 대비 학습이 경계 인스턴스의 잘못된 분류를 방지하는 데 가장 효과적이다.
• 작은 이탈에는 엔트로피 최소화, 큰 이탈에는 도메인 내 대비 학습을 사용하는 적응 전략이 다양한 벤치마크에서 가장 우수한 전체 성능을 낸다.
• t-SNE 시각화를 통해 제안된 방법이 도메인 내 대비 학습과 엔트로피 최소화를 모두 적용했을 때 타겟 도메인에서 양성 및 음성 클러스터 간 마진을 넓히는 것으로 확인되었다.
• 제안된 방법은 표준 교차 도메인 감성 분류 벤치마크에서 새로운 최신 기준 성능(SOTA)을 달성하여 강력한 베이스라인에 비해 효과적인 것으로 입증되었다.