[논문 리뷰] Aspect-based Sentiment Classification with Aspect-specific Graph Convolutional Networks

Chen Zhang, Qiuchi Li외 1명|arXiv (Cornell University)|2019. 09. 08.

Sentiment Analysis and Opinion Mining참고 문헌 32인용 수 15

한 줄 요약

이 논문은 문법적 의존성 트리를 그래프 컨volution 네트워크를 통해 활용하여 장거리 단어 간 의존성과 문법적 제약 조건을 포착하는 새로운 프레임워크인 Aspect-specific Graph Convolutional Networks (ASGCN)를 제안한다. 양방향 LSTMs와 어텐션 메커니즘을 통합함으로써 ASGCN는 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 모델을 능가하며, 문법적 구조와 의존성 모델링이 감성 예측 정확도 향상에 효과적임을 입증한다.

ABSTRACT

Due to their inherent capability in semantic alignment of aspects and their context words, attention mechanism and Convolutional Neural Networks (CNNs) are widely applied for aspect-based sentiment classification. However, these models lack a mechanism to account for relevant syntactical constraints and long-range word dependencies, and hence may mistakenly recognize syntactically irrelevant contextual words as clues for judging aspect sentiment. To tackle this problem, we propose to build a Graph Convolutional Network (GCN) over the dependency tree of a sentence to exploit syntactical information and word dependencies. Based on it, a novel aspect-specific sentiment classification framework is raised. Experiments on three benchmarking collections illustrate that our proposed model has comparable effectiveness to a range of state-of-the-art models, and further demonstrate that both syntactical information and long-range word dependencies are properly captured by the graph convolution structure.

연구 동기 및 목표

• 액세서트 기반 감성 분류에서 어텐션 및 CNN 기반 모델이 문법적으로 무관한 문맥 단어와 장거리 의존성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 그래프 컨volution 네트워크(GCNs)가 액서트 수준 감성 분석을 위한 문법적 구조와 장거리 의존성을 모델링하는 데 잠재력을 지니고 있는지 탐색하기 위해.
• 대상 액서트와 관련된 특징을 필터링하고 강화하는 액서트 특화 그래프 컨볼루션 메커니즘을 개발하기 위해.
• 문법 정보와 장거리 의존성이 감성 분류 성능을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 각 문장에서 의존성 트리를 구축하여 단어 간 문법적 관계를 표현하기 위해.
• 순차적 문맥과 단어 순서 정보를 인코딩하기 위해 양방향 LSTM을 적용하기 위해.
• 이웃 노드를 사용하여 노드 표현을 전파하고 업데이트하기 위해 의존성 트리에 다중층 GCN을 구현하기 위해.
• 비-액서트 단어를 필터링하고 고수준의 액서트 관련 특징만 유지하는 액서트 특화 마스킹 메커니즘을 도입하기 위해.
• 다듬어진 액서트 특화 특징을 다시 LSTM 출력에 피드백하여 어텐션 기반 특징 선택을 수행하기 위해.
• 최종 특징 표현을 사용하여 주어진 (문장, 액서트) 쌍의 감성 극성 예측하기 위해.

실험 결과

연구 질문

• RQ1 그래프 컨볼루션 네트워크가 액서트 기반 감성 분류에서 문법적 의존성과 장거리 단어 관계를 효과적으로 모델링할 수 있는가?
• RQ2 GCN을 LSTMs와 어텐션 메커니즘과 통합할 경우, 기존의 어텐션 또는 CNN 기반 모델 대비 감성 예측 성능 향상에 기여하는가?
• RQ3 액서트 기반 감성 분류에서 최적의 성능을 달성하기 위해 GCN의 최적의 층 수는 얼마인가?
• RQ4 문장 내에서 다수의 액서트가 존재할 경우 모델의 강건성과 성능에 어떤 영향을 미치는가?
• RQ5 액서트 특화 그래프 컨볼루션은 비관련 문맥 단어를 효과적으로 필터링하고 감성 관련 구문에 집중할 수 있는가?

주요 결과

• ASGCN는 라이브러리14(Lap14), 레스토랑14(Rest14), 트위터(Twitter) 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 다양한 기존 모델을 능가한다.
• 모델은 두 개의 GCN 층에서 최적의 성능을 보이며, 정확도와 매크로-F1 점수가 L=2에서 최고에 도달하고 더 깊은 네트워크에서는 감소함을 실험으로 입증하였다.
• 실험 결과, GCN 기반 아키텍처가 문법 정보와 장거리 단어 의존성을 효과적으로 포착하고 활용하고 있음을 보여주었다.
• 문장에 세 개 이상의 액서트가 포함될 경우 모델 정확도가 불안정해지며, 향후 다중 액서트 의존성 모델링에 대한 연구가 필요함을 시사하였다.
• 마스킹 메커니즘이 비-액서트 단어를 성공적으로 필터링하여 모델이 감성 관련 구문에 집중하고 문법적으로 무관한 문맥의 간섭을 줄였다.