[논문 리뷰] Modeling Sentiment Dependencies with Graph Convolutional Networks for Aspect-level Sentiment Classification

Pinlong Zhaoa, Linlin Houb외 1명|arXiv (Cornell University)|2019. 06. 11.

Sentiment Analysis and Opinion Mining참고 문헌 37인용 수 8

한 줄 요약

이 논문은 문장 내 여러 개의 측면 간의 감성 의존성을 모델링하기 위해 측면을 노드로, 그들의 상관관계 감성을 간선으로 간주하는 그래프 컬러리션 네트워크(SDGCN)를 제안한다. 측면별 표현 학습을 위해 양방향 어텐션과 위치 인코딩을 조합한 후, GCN 기반 메시지 전파를 수행함으로써 SemEval 2014 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 이는 상호 측면 감성 의존성이 측면 수준 감성 분류 정확도를 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Aspect-level sentiment classification aims to distinguish the sentiment polarities over one or more aspect terms in a sentence. Existing approaches mostly model different aspects in one sentence independently, which ignore the sentiment dependencies between different aspects. However, we find such dependency information between different aspects can bring additional valuable information. In this paper, we propose a novel aspect-level sentiment classification model based on graph convolutional networks (GCN) which can effectively capture the sentiment dependencies between multi-aspects in one sentence. Our model firstly introduces bidirectional attention mechanism with position encoding to model aspect-specific representations between each aspect and its context words, then employs GCN over the attention mechanism to capture the sentiment dependencies between different aspects in one sentence. We evaluate the proposed approach on the SemEval 2014 datasets. Experiments show that our model outperforms the state-of-the-art methods. We also conduct experiments to evaluate the effectiveness of GCN module, which indicates that the dependencies between different aspects is highly helpful in aspect-level sentiment classification.

연구 동기 및 목표

• 기존의 측면 수준 감성 분류 모델이 측면을 독립적으로 다루며 상호 간 유용한 감성 의존성을 忽略하는 한계를 해결하기 위해.
• 문장 내 다수의 측면 간 상관관계 정보가 감성 예측 성능을 향상시킬 수 있는지 탐색하기 위해.
• 그래프 컬러리션 네트워크를 사용해 상호 측면 감성 의존성을 명시적으로 모델링하는 새로운 딥 러닝 프레임워크를 설계하기 위해.
• GCN 모듈이 문장 내 측면 간 상관관계 감성 패턴을 어떻게 포착하는지 평가하기 위해.
• 연결어('but', 'and')와 문장 구조에서 유추되는 감성 의존성이 분류 정확도 향상에 기여한다는 경험적 증거를 제공하기 위해.

제안 방법

• 각 측면에 대해 관련 맥락 단어를 주시함으로써 측면별 표현을 학습하기 위해 양방향 어텐션과 위치 인코딩을 활용한다.
• 각 측면을 노드로, 감성 의존성 관계(예: 'but', 'and'를 통해)를 간선으로 하는 그래프를 구축한다.
• 그래프 컬러리션 네트워크(GCN)를 적용해 연결된 측면 간 감성 정보를 전파하고 집계함으로써 상호 측면 의존성을 포착한다.
• GCN 내에서 메시지 전파를 통해 이웃 측면의 상관관계 맥락을 통합함으로써 측면 표현을 개선한다.
• 어텐션 기반 표현 학습 후 GCN 모듈을 통합하여 측면 표현 학습과 의존성 모델링을 동시에 최적화한다.
• 감성 분류를 위한 교차 엔트로피 손실을 사용해 SemEval 2014 데이터셋에서 엔드 투 엔드 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 문장 내 다수의 측면 간 감성 의존성을 모델링하면 측면 수준 감성 분류 성능이 향상되는가?
• RQ2 그래프 컬러리션 네트워크가 측면 간 상관관계 감성 패턴을 포착하는 데 얼마나 효과적인가?
• RQ3 양방향 어텐션과 GCN 레이어와 같은 다양한 아키텍처 구성 요소가 모델 성능에 미치는 영향은 어떠한가?
• RQ4 연결어(예: 'but', 'and')와 같은 언어적 단서가 측면 간 감성 의존성을 식별하는 데 기여하는 방식은 무엇인가?
• RQ5 상호 측면 의존성이 감성 극성 예측에 있어 명시적인 감성 어휘의 필요성을 어느 정도 감소시키는가?

주요 결과

• 제안된 SDGCN 모델은 SemEval 2014 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 방법들을 능가하는 측면 수준 감성 분류 성능을 보였다.
• 제거 실험을 통해 GCN 모듈이 성능 향상에 크게 기여하는 것으로 확인되었으며, GCN가 포함된 전체 모델(BiAtt+GCN)이 GCN가 없는 변형보다 높은 F1 스코어를 기록했다.
• GCN가 포함된 모델(BiAtt+GCN)은 랩탑 데이터셋에서 F1 스코어 84.5, 레스토랑 데이터셋에서 81.3을 기록하여 이전 SOTA 방법을 초월했다.
• 실험 결과 최적의 GCN 레이어 수는 2개였으며, 이보다 더 깊은 네트워크(2개 이상 레이어)는 과적합과 훈련 난이도로 인해 성능 저하를 초래했다.
• 어텐션 히트맵을 통한 케이스 스터디에서 GCN가 강화된 모델이 'but'과 'and'와 같은 관계어에 주목하는 것으로 나타났으며, 이는 측면 간 감성의 대립 또는 일치를 시사한다.
• GCN가 포함된 모델는 감성 어휘 외에도 상호 측면 감성 관계를 나타내는 구조적 단서에 주목함으로써 일반화 능력과 강건성을 향상시켰다.