[논문 리뷰] Knowledge Graph Augmented Network Towards Multiview Representation Learning for Aspect-based Sentiment Analysis

Qihuang Zhong, Liang Ding외 4명|arXiv (Cornell University)|2022. 01. 13.

Sentiment Analysis and Opinion Mining인용 수 9

한 줄 요약

이 논문은 계층적 융합 모듈을 통해 문맥, 문법, 외부 지식으로부터 다중 시각 표현을 학습함으로써 액센트 기반 감성 분석을 향상시키는 지식 그래프 보강 네트워크인 KGAN을 제안한다. KGAN은 지식 그래프 임베딩과 주의 메커니즘을 통합하고 브랜치 간에 파라미터를 공유함으로써, RoBERTa를 사용한 새로운 SOTA 결과를 포함한 다섯 개인 ABSA 벤치마크에서 최고의 성능을 기록하며 효율성과 강건성 향상을 달성한다.

ABSTRACT

Aspect-based sentiment analysis (ABSA) is a fine-grained task of sentiment analysis. To better comprehend long complicated sentences and obtain accurate aspect-specific information, linguistic and commonsense knowledge are generally required in this task. However, most current methods employ complicated and inefficient approaches to incorporate external knowledge, e.g., directly searching the graph nodes. Additionally, the complementarity between external knowledge and linguistic information has not been thoroughly studied. To this end, we propose a knowledge graph augmented network KGAN, which aims to effectively incorporate external knowledge with explicitly syntactic and contextual information. In particular, KGAN captures the sentiment feature representations from multiple different perspectives, i.e., context-, syntax- and knowledge-based. First, KGAN learns the contextual and syntactic representations in parallel to fully extract the semantic features. Then, KGAN integrates the knowledge graphs into the embedding space, based on which the aspect-specific knowledge representations are further obtained via an attention mechanism. Last, we propose a hierarchical fusion module to complement these multi-view representations in a local-to-global manner. Extensive experiments on five popular ABSA benchmarks demonstrate the effectiveness and robustness of our KGAN. Notably, with the help of the pretrained model of RoBERTa, KGAN achieves a new record of state-of-the-art performance among all datasets.

연구 동기 및 목표

• 기존 ABSA 모델이 외부 언어학적 및 일반 지식을 효과적이고 효율적으로 통합하는 데에 한계를 보이고 있는 문제를 해결하기 위해.
• 감성 분류 향상을 위해 문맥적, 문법적, 지식 기반 표현 간의 상호보완성을 탐색하기 위해.
• 복잡한 하위그래프 구축 없이도 높은 성능을 유지할 수 있는 경량이며 파라미터 효율적인 아키텍처를 설계하기 위해.
• 노이즈가 있는 지식 입력 상황에서 모델의 강건성을 평가하고, 지연 시간과 모델 크기 측면에서의 효율성 평가를 위해.

제안 방법

• KGAN은 동일한 입력에서 문맥적, 문법적, 지식 기반 표현을 추출하기 위해 세 개의 병렬 브랜치를 사용한다.
• 문맥적 및 문법적 표현은 공유된 BiLSTM를 통해 추출되며, 주의 메커니즘을 통해 액센트 기반 특징에 집중한다.
• 외부 지식은 사전 훈련된 지식 그래프 임베딩(KGE)을 통해 통합되어 복잡한 하위그래프 구축을 피한다.
• 액센트 기반 지식 표현은 지식 임베딩에 소프트 주의 메커니즘을 적용하여 확보된다.
• 지역에서 전역으로의 방식으로 다중 시각 표현을 융합하는 계층적 융합 모듈이 특징 상호보완성을 향상시킨다.
• 문맥 브랜치와 문법 브랜치 간의 파라미터 공유로 모델 크기와 추론 지연 시간이 감소하면서도 성능 유지가 가능하다.

실험 결과

연구 질문

• RQ1 복잡한 하위그래프 구축에 의존하지 않고 외부 지식을 ABSA 모델에 효율적으로 통합할 수 있는 방법은 무엇인가?
• RQ2 문맥적, 문법적, 지식 기반 표현 간의 상호보완성 정도는 어느 정도인가?
• RQ3 다중 시각 표현 학습 프레임워크는 낮은 지연 시간과 모델 크기 유지 조건에서 더 높은 성능를 달성할 수 있는가?
• RQ4 실제 환경에서 노이즈가 있는 또는 손상된 지식 임베딩에 대해 제안된 모델의 강건성은 어떠한가?
• RQ5 외부 지식의 통합은 정규화 역할을 하는가, 아니면 높은 품질의 지식이 효과를 발휘하기 위해 필수적인가?

주요 결과

• KGAN은 다섯 개인 표준 ABSA 벤치마크에서 모두 새로운 최고 성능을 기록하였으며, ATAE-LSTM 대비 매크로-F1에서 +10.87% 향상되었다.
• 더 높은 성능를 달성하고도 최근 SOTA 모델인 R-GAT 및 DM-GCN과 유사하거나 더 낮은 추론 지연 시간을 유지한다.
• 브랜치 간 파라미터 공유 덕분에 KGAN의 모델 크기는 DM-GCN(8.80M)에 비해 크게 작다(3.62M 파라미터).
• 지식 임베딩의 낮은 수준에서 중간 수준의 노이즈(최대 5%)에 대해 강건성을 보이며, 노이즈 비율이 20%에 도달할 때 성능 저하가 발생한다.
• 제거 실험 결과, 문맥적, 문법적, 지식 기반 세 가지 뷰가 상호보완적이며 각각이 최종 성능에 독자적인 기여를 한다는 것이 확인되었다.
• 사전 훈련된 지식 그래프 임베딩(KGE)의 사용은 하위그래프 기반 방법보다 더 효과적이고 효율적이며, 특히 다중 액센트 텀 처리 상황에서 유리하다.