[논문 리뷰] Relational Graph Attention Network for Aspect-based Sentiment Analysis

Kai Wang, Weizhou Shen외 3명|arXiv (Cornell University)|2020. 04. 26.

Sentiment Analysis and Opinion Mining참고 문헌 31인용 수 48

한 줄 요약

요약: 이 논문은 ABSA를 개선하기 위해 관점 지향 의존 트리에 기반한 관계형 그래프 주의 네트워크 R-GAT을 제안합니다. BERT와 결합될 때 특히 최첨단 성능을 보여줍니다.

ABSTRACT

Aspect-based sentiment analysis aims to determine the sentiment polarity towards a specific aspect in online reviews. Most recent efforts adopt attention-based neural network models to implicitly connect aspects with opinion words. However, due to the complexity of language and the existence of multiple aspects in a single sentence, these models often confuse the connections. In this paper, we address this problem by means of effective encoding of syntax information. Firstly, we define a unified aspect-oriented dependency tree structure rooted at a target aspect by reshaping and pruning an ordinary dependency parse tree. Then, we propose a relational graph attention network (R-GAT) to encode the new tree structure for sentiment prediction. Extensive experiments are conducted on the SemEval 2014 and Twitter datasets, and the experimental results confirm that the connections between aspects and opinion words can be better established with our approach, and the performance of the graph attention network (GAT) is significantly improved as a consequence.

연구 동기 및 목표

• ABSA에서 복잡한 구문과 문장당 다수의 관점을 처리하면서 관점과 의견 단어 간의 불일치를 해결한다.
• 목표 관점을 루트로 삼아 관련 구문 관계에 집중하도록 관점 지향 의존 트리를 제안한다.
• R-GAT를 개발하여 ABSA를 위한 의존 관계의 엣지 라벨을 인코딩한다.
• SemEval 2014 레스토랑/노트북 데이터셋과 트위터에서 R-GAT를 평가하여 관점과 의견 간의 연결 및 전반적인 성능 향상을 입증한다.

제안 방법

• 평균 의존 파싱 트리를 관점에 맞춰 루트로 재구성하고 관점과의 직접 엣지를 유지하도록 가지치기로 관점 지향 의존 트리를 구성한다.
• 의존 관계에서의 엣지 라벨을 포함하기 위해 relation-aware 헤드를 가진 GAT를 확장한 Relational Graph Attention Network (R-GAT)을 도입한다.
• 노드 표현을 인코딩하기 위해 BiLSTM을 사용하고 루트로서 관점 단어를 인코딩하기 위해 두 번째 BiLSTM을 사용한다.
• 다중 헤드 주의 및 관계 헤드를 통해 관계 임베딩 및 게이트를 활용하여 노드 표현을 계산한다(논문 식 1–7).
• 루트 표현을 모아 소프트맥스 계층으로 감정 분류를 수행한다(식 8–9).
• 선택적으로 ABSA 작업에서 BERT에서 파생된 단어 표현을 입력하고 미세 조정하여 R-GAT와 BERT를 결합한다.

실험 결과

연구 질문

• RQ1 대상 관점과 그들의 의견 단어를 더 잘 연결하도록 ABSA의 구문 입력을 어떻게 재설계할 수 있는가?
• RQ2 관점 지향 구조가 표준 의존 트리보다 ABSA 성능을 향상시키는가?
• RQ3 Relations-aware 그래프 주의 기제가 관점 수준의 감정 분류를 위해 구문 엣지 라벨을 더 잘 활용할 수 있는가?
• RQ4 R-GAT를 BERT와 같은 사전 학습 모델과 통합하는 것이 ABSA 벤치마크에 미치는 영향은 무엇인가?

주요 결과

• R-GAT는 ABSA 벤치마크에서 많은 기본 모델보다 성능이 뛰어나고 R-GAT+BERT는 최첨단 결과를 달성한다.
• n:con 엣지를 갖는 관점 지향 트리는 구문 오류 및 장거리 의존에 대한 강인성을 향상시킨다.
• Relational 헤드는 의존 관계에 따라 정보 흐름을 조절하게 하여 관점-의견 단어의 연결을 개선한다.
• 적요에 의한 변형이 새로운 트리 구조와 n:con 엣지가 데이터셋 전반에 걸쳐 성능 향상에 크게 기여함을 보여준다.
• Biaffine 구문 분석이 R-GAT를 사용할 때 Stanford 구문 분석보다 ABSA 성능이 더 좋다.
• 오류 분석은 수식어가 있는 중립적 리뷰, 심층 언어 이해 필요성 및 이중 부정과 같은 남은 도전을 강조한다.