[논문 리뷰] Fine-Grained Emotion Classification of Chinese Microblogs Based on Graph Convolution Networks

Yuni Lai, Linfeng Zhang외 3명|arXiv (Cornell University)|2019. 12. 05.

Sentiment Analysis and Opinion Mining참고 문헌 35인용 수 5

한 줄 요약

이 논문은 중국어 마이크로블로깅에서 미세한 감정 분류를 향상시키기 위해 의존성 파싱 트리를 활용하는 구문 인식 그래프 컨volution 네트워크(GCN) 모델을 제안한다. 이중 순환 신경망(Bi-LSTM)의 특징을 GCN를 통해 구문적 구조와 통합하고 백분위수 풀링을 도입함으로써, 새로 작성된 15,664개의 마이크로블로그로 구성된 데이터셋에서 F-측정치 82.32%를 달성하여 최신 기술보다 5.90% 높게 성능을 내었다.

ABSTRACT

Microblogs are widely used to express people's opinions and feelings in daily life. Sentiment analysis (SA) can timely detect personal sentiment polarities through analyzing text. Deep learning approaches have been broadly used in SA but still have not fully exploited syntax information. In this paper, we propose a syntax-based graph convolution network (GCN) model to enhance the understanding of diverse grammatical structures of Chinese microblogs. In addition, a pooling method based on percentile is proposed to improve the accuracy of the model. In experiments, for Chinese microblogs emotion classification categories including happiness, sadness, like, anger, disgust, fear, and surprise, the F-measure of our model reaches 82.32% and exceeds the state-of-the-art algorithm by 5.90%. The experimental results show that our model can effectively utilize the information of dependency parsing to improve the performance of emotion detection. What is more, we annotate a new dataset for Chinese emotion classification, which is open to other researchers.

연구 동기 및 목표

• 복잡한 구문적 구조로 인해 정확한 감성 탐지가 어려운 중국어 마이크로블로그에서의 미세한 감정 분류 문제를 해결하기 위해.
• 기존 접근 방식에서 자주 간과되는 구문적 의존 정보를 통합함으로써 딥 러닝 모델의 성능을 향상시키기 위해.
• 외곽치에 대한 민감도를 줄이기 위해 새로운 백분위수 기반 풀링 메커니즘을 도입함으로써 모델의 강인성과 성능을 향상시키기 위해.
• 미세한 감정 분류를 위한 새로운 고품질의 공개 데이터셋 15,664개의 중국어 마이크로블로그를 기여하기 위해.

제안 방법

• 마이크로블로그 텍스트에서 초기 단어 수준 표현을 추출하기 위해 이중 순환 신경망(Bi-LSTM)을 사용한다.
• 입력 텍스트에서 의존성 파싱 트리를 구성하며, 각 단어를 노드로, 문법적 의존 관계를 간선으로 하여 그래프를 형성한다.
• 그래프 컨volution 네트워크(GCN)는 의존성 그래프를 따라 메시지 전파를 수행하며, 구문적 이웃의 특징을 집계함으로써 단어 표현을 갱신한다.
• GCN의 최종 히든 상태에 백분위수 풀링 전략을 적용하여 기존의 최대 풀링 방식을 대체함으로써 외곽치에 대한 강인성을 향상시킨다.
• Bi-LSTM 및 GCN의 가중치 행렬에 직교화 제약 조건을 적용하여 학습 안정성을 높이고 장거리 의존성 학습을 향상시킨다.
• 모델은 행복, 슬픔, 좋아함, 분노, 혐오, 공포, 놀람의 일곱 가지 감정 카테고리로 이루어진 다중 클래스 감정 분류를 위해 엔드 투 엔드로 미세조정된다.

실험 결과

연구 질문

• RQ1 의존성 구문적 구조를 그래프 컨볼루션 네트워크를 통해 통합함으로써 중국어 마이크로블로그의 미세한 감정 분류 성능을 향상시킬 수 있는가?
• RQ2 신경망 기반 감정 탐지에서 백분위수 풀링은 기존 최대 풀링 대비 강인성과 분류 정확도 측면에서 어떻게 비교되는가?
• RQ3 Bi-LSTM 및 GCN 레이어에 직교화 제약 조건을 적용할 경우 모델 수렴성과 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 모델은 이진 감성 분류(긍정 대 비긍정)에 일반화될 수 있으며, 이 경우 기존 모델들과 비교해 어떤가?

주요 결과

• 제안된 구문 기반 GCN 모델은 미세한 감정 분류에서 F-측정치 82.32%를 달성하여 최신 기술보다 5.90% 높은 성능을 기록했다.
• 백분위수 풀링은 모델 강인성을 향상시켜 GCN 모델에서 최대 풀링 대비 성능을 3.55% 향상시켰으며, CNN 및 LSTM 기반 모델에도 각각 1.63% 및 1.65% 향상 효과를 보였다.
• 가중치 행렬에 페널티 계수 $1 \times 10^{-8}$를 적용한 직교화 제약 조건은 매크로 F-측정치 5.54% 향상과 마이크로 F-측정치 3.39% 향상 효과를 보였다.
• 모델은 미세한 감정 분류뿐 아니라 이진 감성 분류에서도 기존 방법들을 능가하며, 극성 분류 정확도 92.04%를 기록하여 CNN의 91.65% 및 LSTM의 90.01%를 초월했다.
• 모델의 성능 향상은 특히 미세한 감정 분류에서 가장 두드러지며, 이는 구문적 구조가 미묘한 감정 유형을 구분하는 데 특히 유용하다는 것을 시사한다.
• 모델은 영어 벤치마크(예: 스탠포드 감성 트리뱅크)에서는 동일한 이점을 보이지 않아, 다국어 간 전이를 위해서는 언어 특화 적응이 필요하다는 것을 시사한다.