[논문 리뷰] Aspect Based Sentiment Analysis with Gated Convolutional Networks

Wei Xue, Tao Li|arXiv (Cornell University)|2018. 05. 18.

Sentiment Analysis and Opinion Mining참고 문헌 17인용 수 67

한 줄 요약

논문은 ABSA 작업(ACSA 및 ATSA)을 위해 측면별 특정 감정 특징을 선택적으로 추출하는 GCAE라는 CNN 기반 모델을 소개하며, 반복 계층이나 전통적 주의 메커니즘 없이 더 빠른 학습과 경쟁력 있는 정확도를 제공한다.

ABSTRACT

Aspect based sentiment analysis (ABSA) can provide more detailed information than general sentiment analysis, because it aims to predict the sentiment polarities of the given aspects or entities in text. We summarize previous approaches into two subtasks: aspect-category sentiment analysis (ACSA) and aspect-term sentiment analysis (ATSA). Most previous approaches employ long short-term memory and attention mechanisms to predict the sentiment polarity of the concerned targets, which are often complicated and need more training time. We propose a model based on convolutional neural networks and gating mechanisms, which is more accurate and efficient. First, the novel Gated Tanh-ReLU Units can selectively output the sentiment features according to the given aspect or entity. The architecture is much simpler than attention layer used in the existing models. Second, the computations of our model could be easily parallelized during training, because convolutional layers do not have time dependency as in LSTM layers, and gating units also work independently. The experiments on SemEval datasets demonstrate the efficiency and effectiveness of our models.

연구 동기 및 목표

• 텍스트에서 미리 정의된 측면이나 대상에 대해 세부적인 감정을 제공하도록 ABSA를 동기 부여한다 (ACSA 및 ATSA).
• 주어진 측면에 조건화된 감정 특징을 선택적으로 전파하기 위해 게이팅 메커니즘을 사용하는 CNN 기반 아키텍처를 제안한다.
• 훈련 효율성을 개선하면서 정확도를 유지하거나 향상시키기 위해 LSTM/주의 의존성을 제거한다.
• 공유 CNN 구성 요소를 가진 ACSA(측면 범주)와 ATSA(측면 용어) 모두를 다루도록 모델을 확장한다.
• 철저한 실험을 통해 SemEval의 레스토랑 및 노트북 데이터셋에서 효과를 입증한다.

제안 방법

• 감정 및 측면 특징을 위한 두 개의 병렬 컨볼루션 스트림을 활용하는 Gated Convolutional Network with Aspect Embedding (GCAE)을 제안한다.
• 요소별 게이팅으로 각 위치에서 감정 신호와 측면 신호를 융합하는 Gated Tanh-ReLU Units (GTRU)을 도입한다.
• 감정 특징 a_i를 측면 임베딩과 함께 ReLU 활성화된 합성곱으로 계산하고, 측면 특징 s_i를 tanh 활성화 합성곱으로 계산하며, 출력 c_i = s_i * a_i.
• 게이팅된 특징에 대해 최대-시간 풀링을 적용하여 분류를 위한 고정 길이의 문장 표현을 형성한다.
• ATSA의 경우 게이팅을 안내하기 위한 측면 용어에 대한 작은 CNN을 추가하고; ACSA의 경우 단일 측면 임베딩을 사용한다.
• 예상된 감정 극성에 대한 교차 엔트로피 손실로 엔드투엔드 학습한다.

실험 결과

연구 질문

• RQ1 CNN 기반 아키텍처가 per-position 게이팅 유닛으로 ATSA 및 ACSA 작업에서 LSTM/주의 기반 모델과 동일하거나 더 나은 성능을 낼 수 있는가?
• RQ2 측면 정보에 조건화된 게이팅 메커니즘이 표준 CNN보다 측면별 감정 특징 추출을 향상시키는가?
• RQ3 제안된 GCAE는 LSTM/주목 기반 접근에 비해 병렬 가능 합성곱과 게이팅으로 학습 시간이 효율적인가?
• RQ4 여러 측면과 혼합된 감정을 가진 문장을 포함하는 어려운 ABSA 테스트 세트에서 GCAE의 성능은 어떤가?
• RQ5 측면 용어에 대한 보조 CNN으로의 ATSA 확장이 다중 단어 목표에 대한 감정 구성을 효과적으로 안내하는가?

주요 결과

• GCAE는 레스토랑 ABSA 태스크에서 몇 가지 신경망 베이스라인보다 높은 정확도를 달성하며 문장당 여러 감정이 있는 어려운 테스트 세트에서 눈에 띄는 이점을 보인다.
• GCAE는 LSTM/주의 기반 모델보다 더 빠른 학습 수렴을 보여 학습 시간이 크게 감소한다.
• 측면 정보에 조건화된 GTRU 게이팅은 감정 특징의 선택적 전파를 개선하여 ABSA 태스크에서 GTU 및 GLU 변형보다 우수한 성능을 보인다.
• ATSA 확장이 측면 용어의 CNN과 함께 LSTM 기반 베이스라인에 비해 경쟁력 있는 결과를 제공하며, 어려운 테스트 시나리오에서 종종 GCAE가 앞서는 경향이 있다.
• 합성곱 기반 아키텍처는 병렬 가능한 계산을 가능하게 하여 정확도를 희생하지 않으면서도 효율성을 달성한다.