[논문 리뷰] Sentence Constituent-Aware Aspect-Category Sentiment Analysis with Graph Attention Networks

Yuncong Li, Cunxiang Yin외 1명|arXiv (Cornell University)|2020. 10. 04.

Sentiment Analysis and Opinion Mining참고 문헌 24인용 수 6

한 줄 요약

이 논문은 문장 구성 요소 인식 네트워크인 SCAN을 제안하며, 그래프 어텐션 네트워크와 상호작용 손실을 활용하여 감성 단어의 잘못된 정렬 문제를 줄이고, 액센트-카테고리 감성 분석을 향상시킵니다. 구성 분석 트리를 활용하여 액센트 카테고리와 관련된 노드를 식별하며, 다섯 개의 데이터셋에서 기존 방법들을 능가하며, 특히 BERT 미세조정 시 뛰어난 성능을 보이며 감성 단어와 액센트 카테고리 간의 불일치 문제를 효과적으로 완화합니다.

ABSTRACT

Aspect category sentiment analysis (ACSA) aims to predict the sentiment polarities of the aspect categories discussed in sentences. Since a sentence usually discusses one or more aspect categories and expresses different sentiments toward them, various attention-based methods have been developed to allocate the appropriate sentiment words for the given aspect category and obtain promising results. However, most of these methods directly use the given aspect category to find the aspect category-related sentiment words, which may cause mismatching between the sentiment words and the aspect categories when an unrelated sentiment word is semantically meaningful for the given aspect category. To mitigate this problem, we propose a Sentence Constituent-Aware Network (SCAN) for aspect-category sentiment analysis. SCAN contains two graph attention modules and an interactive loss function. The graph attention modules generate representations of the nodes in sentence constituency parse trees for the aspect category detection (ACD) task and the ACSA task, respectively. ACD aims to detect aspect categories discussed in sentences and is a auxiliary task. For a given aspect category, the interactive loss function helps the ACD task to find the nodes which can predict the aspect category but can't predict other aspect categories. The sentiment words in the nodes then are used to predict the sentiment polarity of the aspect category by the ACSA task. The experimental results on five public datasets demonstrate the effectiveness of SCAN.

연구 동기 및 목표

• 비관련 감성 단어가 액센트 카테고리에 잘못 연결되는 감성 분석의 불일치 문제를 해결하기 위해.
• 추가 애너테이션 없이 문법적 구조를 활용하여 감성 극성 예측을 향상시키기 위해.
• 문장 구성 요소를 사용하여 액센트 카테고리 탐지와 감성 분류를 별도로 모델링하는 이중 그래프 어텐션 메커니즘을 설계하기 위해.
• 다른 액센트 카테고리에 대해 서로 다른 노드 어텐션을 장려하는 상호작용 손실 함수를 도입하여 구분 능력을 향상시키기 위해.
• 다양한 데이터셋에서 SCAN의 효과성을 입증하기 위해, 특히 BERT 미세조정 버전을 포함하여.

제안 방법

• SCAN은 두 개의 그래프 어텐션 네트워크(GATs)를 사용합니다: 하나는 액센트 카테고리 탐지(ACD)를 위해, 다른 하나는 액센트-카테고리 감성 분석(ACSA)을 위해, 모두 문장의 구성 분석 트리 위에서 작동합니다.
• ACD GAT은 구성 분석 트리에서 액센트 카테고리를 나타내는 노드를 식별하는 데 집중하며, ACSA GAT은 각 액센트 카테고리와 관련된 감성 단어에 어텐션을 집중합니다.
• 한 액센트 카테고리에 대해 예측된 노드가 다른 액센트 카테고리에 대해서도 예측하지 않도록 보장하기 위해 상호작용 손실 함수를 도입합니다. 이는 어텐션의 구분 능력을 향상시킵니다.
• 모델은 버클리 신경 분석기(Berkeley Neural Parser)를 사용하여 구성 분석 트리를 생성하며, 이를 GAT의 입력 구조로 사용합니다.
• SCAN은 BERT를 활용하여 미세조정함으로써 향상되며, GAT은 감성 예측을 향상시키기 위해 액센트 카테고리 관련 구성 요소를 식별합니다.
• 모델은 엔드 투 엔드로 훈련되며, ACD 작업은 보조 작업으로서 ACSA 작업이 더 정확한 감성 단어 선택을 향해 유도합니다.

실험 결과

연구 질문

• RQ1 구성 분석 트리 위에서 그래프 어텐션 메커니즘을 적용하여 감성 단어를 그 대상 액센트 카테고리에 더 잘 정렬함으로써 액센트-카테고리 감성 분석 성능을 향상시킬 수 있는가?
• RQ2 액센트 카테고리 간 어텐션 겹침을 방지하는 상호작용 손실 함수가 감성 예측의 불일치 문제를 줄이는가?
• RQ3 여러 공개 ACSA 벤치마크에서 기존의 어텐션 기반 및 캡슐 기반 모델과 비교해 SCAN의 성능은 어떠한가?
• RQ4 구성 분석 트리에서 유래한 문법적 구조를 통합함으로써 모델의 일반화 능력과 강건성은 어느 정도 향상되는가?
• RQ5 SCAN은 BERT와 효과적으로 조합되어 액센트-카테고리 감성 분석 작업의 성능을 더욱 향상시킬 수 있는가?

주요 결과

• SCAN은 Rest14-hard, RestLarge-hard, MAMS-ACSA 데이터셋에서 모든 비-BERT 기준 모델을 능가하며, 문장당 다중 감성 극성 탐지에서 뛰어난 성능을 보입니다.
• SCAN은 MAMS-ACSA 데이터셋에서 F1 스코어 75.405를 기록하여, 이어지는 비-BERT 모델인 As-capsule(75.116)를 초월하며, 다섯 개의 모든 데이터셋에서 일관된 성능 향상을 보입니다.
• SCAN-BERT-AVE는 MAMS-ACSA 데이터셋에서 F1 스코어 80.444를 기록하여, 모델의 구성 요소 인식 어텐션 구조가 BERT와 조합되었을 때 매우 효과적임을 시사합니다.
• 제거 실험에서 상호작용 손실을 제거한 경우( SCAN-w/o iLoss) 평균 F1 점수가 0.577 포인트 감소하여, 이 손실 함수가 어텐션의 구분 능력을 향상시키는 데 기여함을 확인합니다.
• 구성 분석 트리 구조를 제거한 경우( SCAN-w/o tree) 평균 F1 점수가 1.756 포인트 감소하여, 문법적 구조가 정확한 노드 선택에 필수적임을 입증합니다.
• SCAN-BERT는 SCAN-BERT-AVE보다 성능이 열 劣하므로, BERT 미세조정 과정에서 ACSA를 위한 GAT이 충분히 훈련되지 않았을 가능성이 있으며, 이는 더 나은 훈련 조율 전략이 필요함을 시사합니다.