[논문 리뷰] Context-Guided BERT for Targeted Aspect-Based Sentiment Analysis

Zhengxuan Wu, Desmond C. Ong|arXiv (Cornell University)|2020. 10. 15.

Sentiment Analysis and Opinion Mining참고 문헌 53인용 수 15

한 줄 요약

이 논문은 대상 중심의 분할 기반 감성 분석(TABSA)을 향상시키기 위해 자기주의 주의 메커니즘에 맥락을 통합함으로써 Context-Guided BERT(CG-BERT)와 새로운 Quasi-Attention CG-BERT(QACG-BERT) 모델을 제안한다. 맥락 유도형 소프트맥스 주의와 감소 기능을 갖춘 복합적인 준주의 주의를 도입함으로써 QACG-BERT는 SentiHood 및 SemEval-2014 데이터셋에서 최신 기술 수준의 성능을 달성하여 F1 스코어에서 이전 모델을 능가하며, 개선된 맥락 인식 주의 학습 능력을 보여준다.

ABSTRACT

Aspect-based sentiment analysis (ABSA) and Targeted ASBA (TABSA) allow finer-grained inferences about sentiment to be drawn from the same text, depending on context. For example, a given text can have different targets (e.g., neighborhoods) and different aspects (e.g., price or safety), with different sentiment associated with each target-aspect pair. In this paper, we investigate whether adding context to self-attention models improves performance on (T)ABSA. We propose two variants of Context-Guided BERT (CG-BERT) that learn to distribute attention under different contexts. We first adapt a context-aware Transformer to produce a CG-BERT that uses context-guided softmax-attention. Next, we propose an improved Quasi-Attention CG-BERT model that learns a compositional attention that supports subtractive attention. We train both models with pretrained BERT on two (T)ABSA datasets: SentiHood and SemEval-2014 (Task 4). Both models achieve new state-of-the-art results with our QACG-BERT model having the best performance. Furthermore, we provide analyses of the impact of context in the our proposed models. Our work provides more evidence for the utility of adding context-dependencies to pretrained self-attention-based language models for context-based natural language tasks.

연구 동기 및 목표

• BERT 모델의 주의 메커니즘에서 맥락 인식 능력을 향상시켜 대상 중심의 분할 기반 감성 분석(TABSA)을 향상시키는 것.
• 표준 소프트맥스 주의가 감소 또는 복합 주의를 모델링할 수 없는 한계를 보완하기 위해 음수 주의 값이 가능한 준주의 주의를 도입하는 것.
• 시퀀스 모델링에서 감성 분석의 맥락이 주의 분포와 모델 결정에 미치는 영향을 탐구하는 것.
• 사전 학습된 BERT에 대한 아키텍처 수정을 통해 TABSA 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 맥락 유도형 주의를 사용하여 타겟과 요약 맥락에 기반해 동적으로 주의 가중치를 조정하는 CG-BERT를 생성하기 위해 맥락 인식 트랜스포머를 적응시킨다.
• 음수 주의 값이 가능한 준주의 주의 가중치를 학습하는 새로운 모델인 QACG-BERT를 제안한다. 이는 감소 및 복합 주의 메커니즘을 가능하게 한다.
• 맥락이 주의에 양성 또는 음성으로 기여할지를 제어하는 이중 방향 게이팅 인자 λ_A^h 를 도입하여 관련성이 없는 토큰을 동적으로 억제한다.
• 기본 자기주의 주의 A_Self-Attn^h 와 맥락 유도 준주의 주의 A_Quasi-Attn^h 의 조합을 통해 최종 주의 Â^h 를 생성하기 위해 학습된 게이팅을 통합한다.
• SentiHood 및 SemEval-2014(Task 4)에서 사전 미세조정된 BERT를 기반 인코더로 사용하여 두 모델을 엔드 투 엔드로 훈련한다.
• 기울기 민감도 분석과 주의 시각화를 통해 모델 행동을 해석하고 맥락 인식 주의 학습의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 BERT의 주의 메커니즘에 맥락을 통합함으로써 대상 중심의 분할 기반 감성 분석 성능 향상이 가능한가?
• RQ2 준주의 주의를 통해 음수 주의 가중치를 허용함으로써 TABSA에서 복잡한 감성 종속성을 더 잘 모델링할 수 있는가?
• RQ3 맥락 유도 주의 메커니즘이 감성 분류에서 주의 분포와 모델의 해석 가능성에 어떤 영향을 미치는가?
• RQ4 보조 문장 첨부가 맥락 인식 TABSA 모델의 성능에 어느 정도의 영향을 미치는가?

주요 결과

• QACG-BERT는 SentiHood 및 SemEval-2014(Task 4) 데이터셋에서 모두 최신 기술 수준의 성능을 달성하여 F1 스코어에서 이전 최신 기술 수준 모델을 능가한다.
• QACG-BERT 모델은 가격 요소에 대해 'rent'(임대료)와 'cheaper'(더 저렴한)와 같은 맥락적으로 관련된 단어에 더 높은 기울기 중요도를 부여하는 것을 학습한다. 또한 LOC1에 대해선 'costs'(비용), LOC2에 대해선 'cheap'(저렴한)와 같은 목표 특정 감성 신호를 정확히 식별한다.
• 준주의 주의 시각화 결과, 특히 가격 맥락에서 감성적으로 부정적인 단어인 'nice'(좋은)에 대해 음수 주의 가중치가 학습된 것으로 나타났으며, 이는 이러한 토큰을 억제하는 데 기여한다.
• 이중 방향 게이팅 인자 λ_A^h 는 맥락 영향을 조절하는 데 성공했으며, 약간 더 음수 값을 가지며 관련성 없거나 오해의 소지가 있는 주의 헤드를 억제할 수 있도록 한다.
• 최종 주의 행렬 Â^h 는 양수 및 음수 가중치를 모두 포함하고 있어, 표준 소프트맥스 주의에서 부족했던 감소 주의 기능을 수행할 수 있음을 보여준다.
• 어느 정도의 성능 저하가 일부 경우에 관찰되었지만, 보조 문장을 첨부하여 훈련한 경우에도 모델은 강건한 성능을 유지하여 입력 변동에 대한 저항성을 보였다.