[논문 리뷰] Hierarchical Attention Generative Adversarial Networks for Cross-domain Sentiment Classification

Yuebing Zhang, Duoqian Miao외 1명|arXiv (Cornell University)|2019. 03. 27.

Sentiment Analysis and Opinion Mining참고 문헌 6인용 수 8

한 줄 요약

이 논문은 교차 도메인 감성 분류를 위한 계층적 어텐션 생성 적대적 네트워크(HAGAN)를 제안한다. GAN 기반 프레임워크를 사용하여 도메인에 관계없이 감성을 구분할 수 있는 문서 표현을 학습한다. 양방향 GRU와 계층적 어텐션, 적대적 훈련을 결합함으로써 HAGAN은 소스 도메인과 타겟 도메인의 표현을 효과적으로 정렬하며, 아마존 리뷰 데이터셋에서 최신 기술 수준의 성능을 달성하여 도메인 간 일반화 능력이 향상된다.

ABSTRACT

Cross-domain sentiment classification (CDSC) is an importance task in domain adaptation and sentiment classification. Due to the domain discrepancy, a sentiment classifier trained on source domain data may not works well on target domain data. In recent years, many researchers have used deep neural network models for cross-domain sentiment classification task, many of which use Gradient Reversal Layer (GRL) to design an adversarial network structure to train a domain-shared sentiment classifier. Different from those methods, we proposed Hierarchical Attention Generative Adversarial Networks (HAGAN) which alternately trains a generator and a discriminator in order to produce a document representation which is sentiment-distinguishable but domain-indistinguishable. Besides, the HAGAN model applies Bidirectional Gated Recurrent Unit (Bi-GRU) to encode the contextual information of a word and a sentence into the document representation. In addition, the HAGAN model use hierarchical attention mechanism to optimize the document representation and automatically capture the pivots and non-pivots. The experiments on Amazon review dataset show the effectiveness of HAGAN.

연구 동기 및 목표

• 감성 패턴이 도메인 간에 크게 다를 수 있는 교차 도메인 감성 분류(CDSC)에서의 도메인 불일치 문제를 해결하기 위해.
• 수동적인 피봇 선택에 의존하지 않고도 소스 도메인과 타겟 도메인 간에 공유되는 감성에 민감한 표현을 학습할 수 있는 딥 러닝 모델을 개발하기 위해.
• 기존 방법에서 사용하는 기울기 반전 레이어(GRL)의 한계를 극복하기 위해 생성 적대적 네트워크(GAN) 프레임워크를 도입하여 엔드 투 엔드 적대적 훈련을 가능하게 하기 위해.
• 계층적 어텐션 메커니즘을 통해 감성 관련 피봇(양 도메인에서 모두 효과적인 단어)과 비피봇(도메인 특화 단어)을 자동으로 식별하고 강조하기 위해.
• 생성자와 판별자 능력의 균형을 맞춤으로써 모드 붕괴를 방지하고 강력한 특징 정렬을 보장함으로써 모델 일반화 능력을 향상시키기 위해.

제안 방법

• HAGAN은 생성자와 판별자를 번갈아가며 훈련하는 GAN 아키텍처를 사용하여, 감성은 구분 가능하지만 도메인은 식별 불가능한 문서 표현을 생성한다.
• 생성자는 두 층의 양방향 GRU(Bi-GRU)를 사용하여 단어 수준 및 문장 수준의 문맥 정보를 계층적 문서 표현으로 인코딩한다.
• 계층적 어텐션 메커니즘이 도메인 간 중요 단어와 문장을 동적으로 가중함으로써 감성 관련 피봇과 도메인 특화 비피봇을 자동으로 식별할 수 있도록 한다.
• 판별자는 이중 작업을 수행한다: 감성 분류 및 도메인 분류로, 생성자가 도메인 분류기를 속이도록 유도하면서도 감성 차이를 유지하도록 강제한다.
• 모델은 감성 분류 손실, 도메인 분류 손실, 그리고 적대적 목표를 조합한 다중 작업 손실을 사용하여 도메인 간 표현을 정렬한다.
• 훈련 과정은 생성자 최적화(도메인 분류 손실 최소화와 함께 감성 정확도 유지)와 판별자 최적화(감성 및 도메인 분류 성능 최대화)를 번갈아 수행한다.

실험 결과

연구 질문

• RQ1 기울기 반전 레이어(GRL)에 의존하지 않고도 GAN 기반 프레임워크가 교차 도메인 감성 분류를 위해 도메인에 관계없고 감성에 민감한 표현을 효과적으로 학습할 수 있는가?
• RQ2 계층적 어텐션 메커니즘이 도메인 간 감성 관련 피봇과 비피봇을 자동으로 식별하고 강조하는 데 얼마나 효과적인가?
• RQ3 양방향 GRU 인코딩과 적대적 훈련의 조합이 학습된 문서 표현에서 도메인 불일치를 줄이는가?
• RQ4 HAGAN의 성능은 DANN, SCL, SFA와 같은 기존 방법과 비교해 도메인 이동에 대한 정확도와 강건성 측면에서 어떻게 다른가?
• RQ5 생성자-판별자 능력 균형이 CDSC에서 모델 수렴과 성능에 어떤 영향을 미치는가?

주요 결과

• t-SNE 시각화 결과에 따르면 HAGAN은 문서 표현에서 도메인 불일치를 크게 감소시켰으며, 소스 도메인과 타겟 도메인의 데이터 분포가 거의 구분되지 않을 정도로 유사해졌다.
• HAGAN은 아마존 리뷰 데이터셋에서 여러 교차 도메인 감성 분류 작업(B→E, E→B 등)에서 최신 기술 수준의 성능을 달성했으며, HAN 및 DANN과 같은 베이스라인 모델을 모두 능가했다.
• 계층적 어텐션 메커니즘은 'excellent', 'good', 'amazing'과 같은 감성 피봇을 성공적으로 식별했으며, 이는 다양한 도메인에서 공통적으로 유효한 단어였다. 반면 'readable'(책 분야)이나 'pixelated'(전자기기 분야)와 같은 도메인 특화 비피봇은 낮은 가중치를 부여했다.
• 판별자에서 MLP 대신 CNN을 사용한 HAGAN-C라는 변형 모델이 원본 HAGAN을 능가하여, 더 강력한 판별 능력이 성능 향상에 기여함을 시사했다.
• 제거 실험 결과, 감성 및 도메인 분류의 이중 목표를 가진 적대적 훈련이 도메인에 관계없는 표현 학습에 필수적임을 확인했다.
• 모델는 도메인 이동에 대해 강건성을 보였으며, 타겟 도메인 데이터가 완전히 레이블 없이 제공된 경우에도 높은 정확도를 유지하여, 제로샷 또는 소수의 샘플에서의 적응 상황에서도 효과적임을 입증했다.