[논문 리뷰] Mere Contrastive Learning for Cross-Domain Sentiment Analysis

Luo Yun, Fang Guo외 2명|arXiv (Cornell University)|2022. 08. 18.

Sentiment Analysis and Opinion Mining인용 수 10

한 줄 요약

이 논문은 교차 도메인 감성 분석을 위한 대비 학습 프레임워크인 COBE(Mere Contrastive Learning for Cross-Domain Sentiment Analysis)를 제안한다. 이 방법은 배치 내 음성 샘플을 사용하여 동일한 감성인 문장 표현을 서로 정렬하고, 다른 감성인 문장 표현을 분리함으로써, 서로 다른 도메인 간에 동일한 감성의 표현을 유사하게 만들고, 다른 감성은 구분하도록 한다. 이 방법은 교차 도메인 및 다중 도메인 감성 분석 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 시각화 및 악성 테스트를 통해 검증된 바, 더 뛰어난 내구성과 효과적인 지식 전이 능력을 보인다.

ABSTRACT

Cross-domain sentiment analysis aims to predict the sentiment of texts in the target domain using the model trained on the source domain to cope with the scarcity of labeled data. Previous studies are mostly cross-entropy-based methods for the task, which suffer from instability and poor generalization. In this paper, we explore contrastive learning on the cross-domain sentiment analysis task. We propose a modified contrastive objective with in-batch negative samples so that the sentence representations from the same class will be pushed close while those from the different classes become further apart in the latent space. Experiments on two widely used datasets show that our model can achieve state-of-the-art performance in both cross-domain and multi-domain sentiment analysis tasks. Meanwhile, visualizations demonstrate the effectiveness of transferring knowledge learned in the source domain to the target domain and the adversarial test verifies the robustness of our model.

연구 동기 및 목표

• 교차 도메인 감성 분석에서 교차 엔트로피 기반 모델의 불안정성과 낮은 일반화 능력을 해결하기 위해.
• 감성 분류 작업에 대한 대비 학습의 효과성을 검토하기 위해.
• 소스 도메인에서 타겟 도메인으로의 지식 전이를 향상시키기 위해 분리된, 강건한 문장 표현을 학습하기 위해.
• 저자원 교차 도메인 환경에서 악성 예측에 대한 모델의 내구성을 향상시키기 위해.
• 대비 학습이 기존의 교차 엔트로피 방법보다 정확도와 일반화 능력 면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 동일한 레이블을 가진 쌍은 양성으로, 다른 레이블을 가진 쌍은 음성으로 간주하는, 배치 내 음성 샘플을 사용한 수정된 대비 손실 함수를 제안한다.
• BERT 기반 인코더를 학습하여 대비 목적 함수를 최적화함으로써, 동일 감성 문장의 표현은 잠재 공간에서 가까이, 다른 감성 문장의 표현은 멀리 떨어지도록 유도한다.
• 학습된 문장 표현과 레이블을 지식 기반으로 저장하여 추론 시 사용한다.
• 추론 시 k-최근접 이웃(kNN) 분류기를 사용하여 지식 기반에서 테스트 샘플과 가장 유사한 k개의 표현을 선택하고, 투표를 통해 감성을 결정한다.
• 양성 쌍 간의 거리를 최소화하고 음성 쌍 간의 거리를 최대화하는 대비 손실 함수를 사용하며, 코사인 유사도를 활용한다.
• 기본 모델로 사전 학습된 BERT를 사용하고, 레이블이 있는 소스 도메인 데이터에 대해 대비 목적 함수와 함께 엔드 투 엔드로 미세 조정한다.

실험 결과

연구 질문

• RQ1 대비 학습은 교차 엔트로피 기반 방법에 비해 교차 도메인 감성 분석에서 성능과 내구성을 향상시키는가?
• RQ2 제안된 대비 목적 함수는 소스 도메인에서 타겟 도메인으로 지식을 효과적으로 전이하는가?
• RQ3 악성 공격 상황에서 모델의 성능은 어떻게 되며, 기존의 교차 엔트로피 모델보다 일반화 능력이 뛰어나게 되는가?
• RQ4 학습된 표현이 감성 의미를 유지하면서 서로 다른 도메인 간에 얼마나 혼합되는가?
• RQ5 추가적인 악성 예측 또는 도메인 적응 구성 요소 없이도, 배치 내 음성 샘플 추출만으로도 뛰어난 성능을 달성할 수 있는가?

주요 결과

• COBE는 교차 도메인 아마존 및 FDU-MTL 데이터셋에서 최신 기술 수준의 성능을 달성하여, 교차 도메인 및 다중 도메인 감성 분류 모두에서 기존 방법을 능가한다.
• 교차 도메인 아마존 데이터셋에서 COBE는 85.4%의 정확도를 기록했으며, BERT-CE(78.9%)와 BERT-DAAT(83.2%)를 크게 앞서나갔다.
• FDU-MTL 데이터셋의 다중 도메인 설정에서 COBE는 86.7%의 정확도를 기록했으며, BERT-CE(80.1%)와 BERT-DAAT(84.3%)를 뛰어넘었다.
• 악성 테스트에서 COBE는 주방 도메인의 악성 샘플에서 78.00%의 정확도를 유지했으며, BERT-CE보다 6.5% 높은 성능을 보였다.
• COBE*는 다중 도메인 악성 샘플에서 81.00%의 정확도를 기록했으며, BERT-CE*보다 7.5% 높아, 뛰어난 내구성을 입증했다.
• 시각화 결과는 서로 다른 도메인 간에 동일한 감성의 표현이 밀집해 있음을 확인했으며, 이는 소스 도메인에서 타겟 도메인으로 효과적인 지식 전이가 이루어졌음을 시사한다.