[논문 리뷰] Projecting Embeddings for Domain Adaption: Joint Modeling of Sentiment Analysis in Diverse Domains

Jeremy Barnes, Roman Klinger외 1명|arXiv (Cornell University)|2018. 08. 01.

Sentiment Analysis and Opinion Mining참고 문헌 27인용 수 19

한 줄 요약

이 논문은 감성 분석를 위한 새로운 도메인 적응 방법을 제안하며, 교차 도메인 정렬과 감성 예측을 공동 최적화하여 단일 도메인 임베딩을 공유된 双도메 공간으로 투영한다. 이는 20개의 소스-타겟 도메인 쌍 중 11개에서 최신 기준 성능을 달성하며, 특히 기존 방법에 비해 상당히 다를 수 있는 도메인에서 뛰어난 성능을 보인다.

ABSTRACT

Domain adaptation for sentiment analysis is challenging due to the fact that supervised classifiers are very sensitive to changes in domain. The two most prominent approaches to this problem are structural correspondence learning and autoencoders. However, they either require long training times or suffer greatly on highly divergent domains. Inspired by recent advances in cross-lingual sentiment analysis, we provide a novel perspective and cast the domain adaptation problem as an embedding projection task. Our model takes as input two mono-domain embedding spaces and learns to project them to a bi-domain space, which is jointly optimized to (1) project across domains and to (2) predict sentiment. We perform domain adaptation experiments on 20 source-target domain pairs for sentiment classification and report novel state-of-the-art results on 11 domain pairs, including the Amazon domain adaptation datasets and SemEval 2013 and 2016 datasets. Our analysis shows that our model performs comparably to state-of-the-art approaches on domains that are similar, while performing significantly better on highly divergent domains. Our code is available at https://github.com/jbarnesspain/domain_blse

연구 동기 및 목표

• 언어 스타일과 어휘가 다른 도메인 간에 적용될 때 감성 분류기 성능 저하 문제를 해결하기 위해.
• 구조적 대응 학습과 오토에코더와 같은 기존 방법의 한계를 극복하기 위해, 장시간 학습이 소요되거나 상당히 다를 수 있는 도메인에서 성능이 열 劣하는 문제를 해결하기 위해.
• 단일 도메인 공간 간의 임베딩 투영 작업으로서 도메인 적응을 재구성하는 새로운 시각을 제안하기 위해.
• 공유된 이중 도메인 임베딩 공간에서 도메인 정렬과 감성 예측을 공동으로 최적화하기 위해.
• Amazon, SemEval 2013, SemEval 2016를 포함한 다양한 벤치마크 데이터셋에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 모델은 소스 및 타겟 도메인의 별도 단일 도메인 임베딩 공간을 입력으로 받는다.
• 소스 및 타겟 임베딩을 공유된 이중 도메인 공간으로 매핑하는 투영 행렬을 학습한다.
• 도메인 이동을 최소화하면서 감성 분류 정확도를 최대화하도록 투영을 공동 최적화한다.
• 공동 목적 함수는 도메인 정렬을 위한 콘트라스트 손실과 감성 예측을 위한 교차 엔트로피 손실을 조합한다.
• 경사 하강법을 사용하여 백프로파게이션을 통해 엔드 투 엔드로 학습한다.
• 다국어 간 전이에서의 통찰을 활용하여 의미적이고 어휘적으로 다를 수 있는 도메인 간 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 도메인 공간 간의 임베딩 투영이 기존 도메인 적응 방법보다 상당히 다를 수 있는 도메인에서 더 나은 성능을 내는가?
• RQ2 도메인 정렬과 감성 예측을 공동 최적화하는 것이 순차적 또는 독립적 학습에 비해 전이 성능을 향상시키는가?
• RQ3 SemEval 2013 및 2016와 같은 표준 감성 분석 벤치마크에서 제안된 방법이 최신 기준 방법과 어떻게 비교되는가?
• RQ4 어떤 상황에서 모델이 기존 방법에 비해 뚜렷한 성능 향상을 보이며, 특히 도메인의 차이가 클 경우에 어떻게 성능을 높이는가?
• RQ5 타겟 도메인에서 레이블이 거의 없는 상황에서도 모델이 일반화 능력을 유지할 수 있는가?

주요 결과

• 제안된 방법은 감성 분류에서 20개의 소스-타겟 도메인 쌍 중 11개에서 최신 기준 성능을 달성한다.
• 구조적 대응 학습과 오토에코더가 어려움을 겪는 상당히 다를 수 있는 도메인에서 기존 방법에 비해 뚜렷이 뛰어난 성능을 보인다.
• 유사한 도메인에서는 최신 기준 방법과 유사한 성능을 보이며, 도메인 유사도 수준에 관계없이 안정성을 입증한다.
• 임베딩 투영과 감성 예측의 공동 최적화가 정렬 및 분류 정확도 향상에 기여한다.
• Amazon 및 SemEval 2013/2016를 포함한 벤치마크 데이터셋에서 강력한 일반화 능력을 보이며, 공개된 코드를 제공한다.
• 도메인 적응을 공동 학습을 통한 임베딩 투영 작업으로 재구성하는 것이 효과적임을 결과가 입증한다.