[논문 리뷰] Selective Attention Based Graph Convolutional Networks for Aspect-Level Sentiment Classification

Xiaochen Hou, Jing Huang외 3명|arXiv (Cornell University)|2019. 10. 24.

Sentiment Analysis and Opinion Mining인용 수 15

한 줄 요약

이 논문은 BERT로 인코딩된 표현, GCN를 통한 의존 트리 문법 정보, 그리고 상위 k개의 주의 집합된 문맥 단어를 통합하여 장거리 의존성을 다루는 선택적 주의 기반 그래프 컨볼루션 네트워크인 SA-GCN을 제안한다. 이 모델은 보조 작업으로서 의견 추출을 함께 훈련시켜 SemEval 벤치마크에서 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Aspect-level sentiment classification aims to identify the sentiment polarity towards a specific aspect term in a sentence. Most current approaches mainly consider the semantic information by utilizing attention mechanisms to capture the interactions between the context and the aspect term. In this paper, we propose to employ graph convolutional networks (GCNs) on the dependency tree to learn syntax-aware representations of aspect terms. GCNs often show the best performance with two layers, and deeper GCNs do not bring additional gain due to over-smoothing problem. However, in some cases, important context words cannot be reached within two hops on the dependency tree. Therefore we design a selective attention based GCN block (SA-GCN) to find the most important context words, and directly aggregate these information into the aspect-term representation. We conduct experiments on the SemEval 2014 Task 4 datasets. Our experimental results show that our model outperforms the current state-of-the-art.

연구 동기 및 목표

• 의존 트리에서 요약어(term)와 의견어가 두 번 이상의 홉(_hop) 떨어져 있을 경우 표준 GCN가 장거리 문법적 의존성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 자기 주의 메커니즘을 사용하여 특히 의견어와 같은 가장 관련성이 높은 문맥 단어에 직접 주의를 기울임으로써 요약 수준의 감성 분류를 향상시키기 위해.
• 보조 작업으로서 감성 분류와 의견어 추출을 함께 훈련시켜 모델의 강건성과 해석 가능성 향상을 위해.
• 모든 노드를 통해 메시지를 전파하는 대신 영향력이 높은 문맥 단어에 선택적으로 집중하여 깊은 GCN에서 발생하는 과도한 스무딩 문제를 해결하기 위해.

제안 방법

• 모델은 문장 내 요약어와 문맥 단어의 초기 표현을 BERT를 사용해 인코딩한다.
• 의존 트리에 GCN를 적용하여 문법 정보를 전파하고 문법 인식 표현을 학습한다.
• 상위 k개의 다중 헤드 자기 주의 메커니즘이 주의 점수를 기반으로 각 요약어에 대해 가장 관련성이 높은 k개의 문맥 단어를 선택한다.
• 선택된 상위 k개의 문맥 단어에 대해 두 번째 GCN 레이어를 적용하여 그 정보를 요약어 표현에 통합한다.
• CRF 디코더를 사용하여 주의 선택 과정에 추가적인 감독을 제공하면서 감성 분류와 의견어 추출을 함께 훈련한다.
• 헤드 독립적 선택 방식을 사용하여 헤드 간의 주의 점수를 집계함으로써 노이즈 또는 일관성 없는 선택을 걸러내어 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 의존 트리에서 의견어가 요약어에서 멀리 떨어져 있을 경우, 선택적 주의 메커니즘이 GCN 기반 모델의 요약 수준 감성 분류 성능을 향상시키는가?
• RQ2 의견어 추출과 함께 훈련하면 요약 수준 감성 분류 모델의 성능과 해석 가능성 향상이 이루어지는가?
• RQ3 헤드 독립적과 헤드 종속적 주의 선택 전략 간의 선택이 모델 성능과 강건성에 어떤 영향을 미치는가?
• RQ4 제안된 SA-GCN 모델이 깊은 GCN에서 발생하는 과도한 스무딩 문제를 얼마나 효과적으로 완화하는가?

주요 결과

• SA-GCN은 네 개의 SemEval 벤치마크 데이터셋에서 최신 기술 성능(SOTA)을 달성했다: 14Rest에서 정확도 86.16%, 매크로-F1 80.54%; 14Lap에서 정확도 80.31%, 매크로-F1 76.99%; 15Rest에서 정확도 84.18%, 매크로-F1 69.42%; 16Rest에서 정확도 91.41%, 매크로-F1 80.39%.
• 제거 실험 결과, 상위 k개 선택 모듈을 제거하면 모든 데이터셋에서 정확도와 매크로-F1이 감소하여 노이즈 문맥을 걸러내는 데서의 기여도를 확인한다.
• 헤드 독립적 주의 선택 방식이 헤드 종속적 방식보다 성능이 뛰어나며, 이는 주의 헤드 간의 일치를 집계하여 불일치하거나 노이즈가 많은 선택을 줄이기 때문이다.
• 문장 길이 분석 결과, SA-GCN은 모든 문장 길이 범위에서 표준 GCN보다 높은 정확도를 유지하며, 특히 긴 문장에서 더 큰 성능 향상을 보여 장거리 의존성 모델링의 효과성을 확인한다.
• 의견어 추출과 함께 훈련함으로써 감성 분류 및 의견어 추출 성능이 모두 향상되었으며, SA-GCN은 모든 데이터셋에서 기준 모델 IOG와 ASTE를 초월했다.