[논문 리뷰] Projecting Embeddings for Domain Adaptation: Joint Modeling of Sentiment Analysis in Diverse Domains

Jeremy Barnes, Roman Klinger외 1명|arXiv (Cornell University)|2018. 06. 12.

Sentiment Analysis and Opinion Mining참고 문헌 23인용 수 11

한 줄 요약

이 논문은 단일 도메인 단어 임베딩을 이중 도메인 공간으로 투영하기 위해 이중 투영 행렬을 사용하는 감성 분석를 위한 새로운 도메인 적응 방법을 제안한다. 이는 교차 도메인 정렬과 감성 분류를 동시에 최적화한다. 20개의 도메인 적응 쌍 중 11개에서 최신 기술(SOTA) 성능을 달성하며, 특히 책에서 영화나 전자제품에서 주방용품으로의 도메인 간 격차가 큰 경우에서 뛰어난 성능을 보인다.

ABSTRACT

Domain adaptation for sentiment analysis is challenging due to the fact that supervised classifiers are very sensitive to changes in domain. The two most prominent approaches to this problem are structural correspondence learning and autoencoders. However, they either require long training times or suffer greatly on highly divergent domains. Inspired by recent advances in cross-lingual sentiment analysis, we provide a novel perspective and cast the domain adaptation problem as an embedding projection task. Our model takes as input two mono-domain embedding spaces and learns to project them to a bi-domain space, which is jointly optimized to (1) project across domains and to (2) predict sentiment. We perform domain adaptation experiments on 20 source-target domain pairs for sentiment classification and report novel state-of-the-art results on 11 domain pairs, including the Amazon domain adaptation datasets and SemEval 2013 and 2016 datasets. Our analysis shows that our model performs comparably to state-of-the-art approaches on domains that are similar, while performing significantly better on highly divergent domains. Our code is available at https://github.com/jbarnesspain/domain_blse

연구 동기 및 목표

• 모델이 새로운, 도메인 외부 데이터에 적용되었을 때 성능이 떨어지는 문제를 해결한다.
• 기존의 도메인 적응 방법—특히 구조적 상응성 학습과 오토인코더—의 한계를 극복한다. 이는 높은 학습 비용이나 격차가 큰 도메인에서의 성능 열악함을 야기한다.
• 효과적인 교차 도메인 전이를 가능하게 하면서 도메인 특화 특징을 유지하여, 이전 방법에서 흔히 발생하는 정보 손실을 방지한다.
• 재학습이나 미세조정 없이도 소스 또는 타겟 도메인에서의 제로샷 감성 분류를 가능하게 하는 방법을 개발한다.
• 다양한 투영 어휘(빈도 기반, 감성 기반, 상호정보량 기반)가 도메인 쌍 간 성능에 미치는 영향을 조사한다.

제안 방법

• Word2Vec를 사용하여 소스 및 타겟 도메인에서 별도의 단일 도메인 스킵그램 단어 임베딩을 학습한다.
• 양방향 정렬을 가능하게 하기 위해 두 개의 투영 행렬 M(소스 → 이중 도메인)과 M'(타겟 → 이중 도메인)을 학습한다.
• 이중 도메인 표현을 동시에 최적화하여 소스 도메인에서의 감성 분류 손실을 최소화하고, 대비 손실을 통해 소스 및 타겟 임베딩을 정렬한다.
• 공통 분류기 헤드 P를 사용하여 이중 도메인 표현에서 감성 예측을 수행하며, 이는 어느 도메인에서나 제로샷 추론을 가능하게 한다.
• 감성 분류 손실과 교차 도메인 정렬 손실의 조합을 사용하여 학습하며, 이중 도메인 공간을 공통 표현으로 사용한다.
• 다양한 투영 어휘(빈도 기반, 감성 기반, 상호정보량 기반)를 평가하여 정렬에 최적의 피벗 특징을 식별한다.

실험 결과

연구 질문

• RQ1 공동 임베딩 투영 프레임워크는 격차가 큰 감성 분석 도메인에서 기존의 도메인 적응 방법을 능가할 수 있는가?
• RQ2 투영을 통해 도메인 특화 특징을 유지하는 것이 도메인 의존적 특징을 감소시키는 방법보다 성능을 향상시키는가?
• RQ3 다양한 유형의 투영 어휘(빈도 기반, 감성 기반, 상호정보량 기반)가 도메인 쌍 간 성능에 어떤 영향을 미치는가?
• RQ4 타겟 도메인 투영 행렬 M'은 타겟 도메인으로의 효과적인 감성 전이에 필수적인가?
• RQ5 모델은 미세조정 없이도 소스 및 타겟 도메인 양쪽에서 제로샷 감성 분류에 일반화될 수 있는가?

주요 결과

• 제안된 모델은 감성 분류에 대해 20개의 소스-타겟 도메인 쌍 중 11개에서 최신 기술(SOTA) 성능을 달성한다.
• 아마존 도메인 적응 벤치마크에서 Nscl과 mSDA를 능가하며, 특히 책에서 DVD로의 변환 쌍(긍정 클래스 F1: 26.9 vs. 34.2)에서 두드러진 성능을 보인다.
• 유사한 도메인(예: 책에서 DVD)에서는 최신 기술과 유사한 성능을 보이나, 격차가 큰 도메인인 주방용품에서 SemEval 2013로의 변환에서는 크게 승리한다(부정 클래스 F1: 23.3 vs. 70.5 for Nscl).
• 격차가 큰 도메인에서는 빈도 기반 투영 어휘가 가장 우수한 성능을 보였고, 감성 기반 어휘는 커버리지 부족으로 인해 성능이 열등했다.
• 상호정보량 기반 어휘는 대부분의 쌍에서 양호한 성능을 보였지만, 어휘 크기가 작아(103개 토큰) SemEval 2013에서는 실패했으며, 이는 어휘 품질에 민감함을 시사한다.
• 제거 실험 결과, 타겟 투영 행렬 M'가 필수적임을 확인했다. M'을 제거하면 소스 도메인에서 학습은 이루어지지만, 타겟 도메인에서 감성 예측에 실패한다.