[논문 리뷰] Domain Adaptation with Category Attention Network for Deep Sentiment Analysis

Dongbo Xi, Fuzhen Zhuang외 4명|arXiv (Cornell University)|2021. 12. 31.

Sentiment Analysis and Opinion Mining참고 문헌 15인용 수 7

한 줄 요약

이 논문은 도메인 공유(피벗) 및 도메인 특화(비피벗) 감성 단어의 학습을 범주 주의망(CAN)을 통해 통합하는 도메인 적응 모델인 CAN-CNN을 제안한다. 범주 메모리 모듈, 동적 매칭, 범주 주의 레이어를 통합함으로써 모델은 자동으로 이식 가능한 감성 특징을 식별함으로써 성능과 해석 가능성 향상을 이룬다. 세 가지 공개 데이터셋에서 기존 방법보다 유의미한 정확도 및 F1 점수 향상을 기록한다.

ABSTRACT

Domain adaptation tasks such as cross-domain sentiment classification aim to utilize existing labeled data in the source domain and unlabeled or few labeled data in the target domain to improve the performance in the target domain via reducing the shift between the data distributions. Existing cross-domain sentiment classification methods need to distinguish pivots, i.e., the domain-shared sentiment words, and non-pivots, i.e., the domain-specific sentiment words, for excellent adaptation performance. In this paper, we first design a Category Attention Network (CAN), and then propose a model named CAN-CNN to integrate CAN and a Convolutional Neural Network (CNN). On the one hand, the model regards pivots and non-pivots as unified category attribute words and can automatically capture them to improve the domain adaptation performance; on the other hand, the model makes an attempt at interpretability to learn the transferred category attribute words. Specifically, the optimization objective of our model has three different components: 1) the supervised classification loss; 2) the distributions loss of category feature weights; 3) the domain invariance loss. Finally, the proposed model is evaluated on three public sentiment analysis datasets and the results demonstrate that CAN-CNN can outperform other various baseline methods.

연구 동기 및 목표

• 음식 및 영화와 같은 도메인 간 감성 표현이 상당히 다름에 따라 발생하는 도메인 이동 문제를 해결한다.
• 이전 방법들이 피벗과 비피벗을 별도로 처리하여 복잡한 이중 네트워크 아키텍처가 필요로 하는 한계를 극복한다.
• 목표 도메인에서 이식 가능한 감성 특징(피벗 및 비피벗)을 자동으로 식별하고 주의를 기울일 수 있도록 모델의 해석 가능성을 향상시킨다.
• 수동으로 피벗 및 비피벗 단어를 구분할 필요 없이 도메인 인식 범주 특성 단어를 학습하는 통합 프레임워크를 개발한다.
• 감독 분류, 범주 특성 분포 정렬, 도메인 불변성의 세 가지 손실을 조합한 다성분 손실 함수를 최적화하여 일반화 및 이식 가능성 향상

제안 방법

• 범주 메모리 모듈(CMM)을 통합한 범주 주의망(CAN)을 제안하여 도메인 특화 감성 단어를 저장하고 검색한다.
• 입력 샘플에 대해 의미 유사도 기반으로 CMM의 관련 범주 특성 단어를 동적으로 매칭하는 동적 매칭(DM) 프로세스를 구현한다.
• 각 샘플과 매칭된 범주 단어 간의 주의 가중치를 계산하는 범주 주의(CA) 레이어를 적용하여 관련 감성 특징을 강조한다.
• 원천 도메인에서는 사전 정의된 감성 단어를 사용해 CMM를 활용하고, 목표 도메인에서는 무작위로 초기화하여 도메인 인식 지식 이동을 가능하게 한다.
• 감독 분류 손실, 범주 특성 가중치의 분포 손실, 도메인 불변성 손실의 세 가지 손실 구성 요소를 최적화하여 소스 및 타겟 도메인 표현을 정렬한다.
• CNN의 국소적 특징 추출 능력과 CAN의 주의 기반 범주 모델링을 융합하여 CAN-CNN을 구성함으로써 감성 분류 성능 향상

실험 결과

연구 질문

• RQ1 분리된 네트워크 브랜치 없이도 통합 프레임워크가 도메인 공유(피벗) 및 도메인 특화(비피벗) 감성 단어를 효과적으로 학습할 수 있는가?
• RQ2 기존 최고 수준의 방법들과 비교해 범주 주의망(CAN)이 교차 도메인 감성 분류 성능을 얼마나 향상시킬 수 있는가?
• RQ3 모델 내부의 CMM 및 주의 메커니즘이 소스에서 타겟 도메인으로 이식된 감성 특징을 해석 가능한 인사이트로 제공할 수 있는가?
• RQ4 CAN의 동적 매칭 및 주의 메커니즘이 자원이 제한된 타겟 도메인에서 특징 표현 학습을 어떻게 향상시키는가?
• RQ5 범주 분포 정렬과 도메인 불변성 손실의 조합이 도메인 적응에서 더 나은 일반화 및 강건성을 이끌어내는가?

주요 결과

• CAN-CNN은 세 가지 공개 감성 분석 데이터셋(IMDB, Yelp, MR)에서 여러 최고 수준의 베이스라인을 능가하여 교차 도메인 감성 분류에서 더 높은 정확도 및 F1 점수를 기록한다.
• 감독 분류, 범주 특성 분포 정렬, 도메인 불변성의 공동 최적화를 통해 유의미한 성능 향상을 달성하였으며, 다성분 손실 목표의 효과성을 입증한다.
• 학습 후 타겟 도메인의 CMM는 'funny'(재미있다), 'heartbreaking'(심심한), 'boring'(지루한), 'horrible'(끔찍한)와 같은 의미 있는 감성 단어를 학습함으로써 도메인 인식 지식 이동이 성공적으로 이루어졌음을 시사한다.
• 범주 주의 가중치의 시각화 결과, 긍정 샘플에서는 'funny'와 'heartbreaking'을, 부정 샘플에서는 'boring'과 'horrible'을 정확히 식별함으로써 실제 감성 신호에 대한 정확한 주의 기능을 보여준다.
• 모델은 'not horrible'(끔찍하지 않다)나 'unsentimental'(감성 없음)과 같은 오해의 소지가 있는 감성 신호를 무시하고 주로 주요 감성 단어에 집중함으로써 부정 및 은유에 대한 강건성을 보여준다.
• 타겟 도메인의 도메인 인식 CMM는 해석 가능한 지식 이동의 형태로 작용하여 소스에서 타겟 도메인으로 이식 가능한 감성 특징 중 가장 관련성이 높은 특징을 드러낸다.