[논문 리뷰] CAN: Constrained Attention Networks for Multi-Aspect Sentiment Analysis

Mengting Hu, Shiwan Zhao외 5명|arXiv (Cornell University)|2018. 12. 27.

Sentiment Analysis and Opinion Mining참고 문헌 35인용 수 10

한 줄 요약

이 논문은 다중 측면 감성 분석을 향상시키기 위해 주의 메커니즘에 직교성 및 희소성 정규화를 적용하는 Constrained Attention Networks (CAN)를 제안한다. 이는 노이즈를 감소시키고 측면별 표현 학습을 향상시킨다. 실험 결과, 공개 데이터셋에서 최신 기술(SOTA) 모델을 능가하며, 특히 측면 카테고리 검출을 보조 과제로 포함한 다중 과제 설정에서 뛰어난 성능을 보였다.

ABSTRACT

Aspect level sentiment classification is a fine-grained sentiment analysis task. To detect the sentiment towards a particular aspect in a sentence, previous studies have developed various attention-based methods for generating aspect-specific sentence representations. However, the attention may inherently introduce noise and downgrade the performance. In this paper, we propose constrained attention networks (CAN), a simple yet effective solution, to regularize the attention for multi-aspect sentiment analysis, which alleviates the drawback of the attention mechanism. Specifically, we introduce orthogonal regularization on multiple aspects and sparse regularization on each single aspect. Experimental results on two public datasets demonstrate the effectiveness of our approach. We further extend our approach to multi-task settings and outperform the state-of-the-art methods.

연구 동기 및 목표

• 주의 메커니즘의 노이즈 문제를 해결하기 위해, 주의가 관련 없거나 교차 측면 단어에 잘못 집중하는 것을 방지한다.
• 비중叠되는 측면 간에 직교 주의 분포를 강제하고, 각 측면에 대해 희소 주의를 적용하여 측면별 문장 표현을 향상시킨다.
• 측면 카테고리 검출(ACD)을 보조 과제로 도입하여 다중 과제 학습을 통해 성능을 향상시킨다.
• 다중 측면 감성 분석에서 제약 주의의 효과를 단일 과제 및 다중 과제 설정 모두에서 검증한다.

제안 방법

• 다양한 겹치지 않는 측면의 주의 가중치 간에 직교성 정규화를 도입하여 중복을 최소화하고, 각기 다른 집중 영역을 장려한다.
• 각 측면에 대해 희소성 정규화를 적용하여 주의가 오직 몇몇 핵심 평가어에 집중하도록 하여 관련 없는 토큰으로 인한 노이즈를 감소시킨다.
• 희소성 정규화(R_s)와 직교성 정규화(R_o)를 통합한 통합 손실 함수를 제안하여 주의 분포를 동시에 최적화한다.
• 맥락적 표현을 공유하면서 측면 수준 감성 분류(ALSC)와 측면 카테고리 검출(ACD)을 동시에 학습하는 다중 과제 학습 프레임워크로 확장한다.
• ALSC 및 ACD 과제 모두에서 주의 제약을 적용하여 일반화 능력 향상과 더불어 측면별 표현 학습을 개선한다.
• 주의 가중치를 시각화하여 모델의 동작을 분석하고, 제약 주의가 더 해석 가능하고 정확한 주의 분포를 이끌어내는지 검증한다.

실험 결과

연구 질문

• RQ1 다양한 측면 간에 직교성 정규화가 주의 집중 정밀도를 향상시키고 관련 없는 단어의 간섭을 줄일 수 있는가?
• RQ2 각 측면에 대해 희소성 정규화가 핵심 평가어에 집중하고 측면별 표현의 노이즈를 줄일 수 있는가?
• RQ3 측면 카테고리 검출(ACD)을 보조 과제로 도입한 공동 학습이 측면 수준 감성 분류(ALSC) 성능을 향상시킬 수 있는가?
• RQ4 표준 주의 메커니즘과 비교했을 때, 제약 주의 메커니즘은 주의 분포의 해석 가능성과 감성 분류 정확도 측면에서 어떻게 성능을 내는가?
• RQ5 희소성 및 직교성 정규화를 동시에 적용했을 때, 겹치지 않는 측면 케이스와 겹치는 측면 케이스를 포함한 다양한 데이터셋 유형에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• CAN은 두 개의 공개 다중 측면 감성 분석 데이터셋에서 최신 기술(SOTA) 모델을 뛰어나게 성능을 높이며, 측면 수준 감성 분류에서 뛰어난 성능을 보였다.
• 주의 시각화 결과, CAN은 더 직교적이고 희소한 주의 분포를 생성하며, 각 측면이 고유하고 관련 있는 단어들(예: 음식에 대해 'outstanding', 서비스에 대해 'tops')에 집중하는 것으로 나타났다.
• 다중 과제 학습에서 ACD를 보조 과제로 도입함으로써 ALSC 성능이 추가로 향상되었으며, 공동 학습을 통한 CAN이 가장 우수한 성능을 기록했다.
• 정규화 손실 곡선은 희소성(R_s) 및 직교성(R_o) 정규화가 모두 학습 도중 효과적으로 감소했음을 확인하여 성공적인 최적화를 입증했다.
• 겹치는 케이스(예: 'highly disappointed')에서 측면이 평가 스크립트를 공유할 경우 CAN은 정확히 두 측면 모두에 감성을 할당하는 것을 정확히 식별했다.
• 오류 분석 결과, 명시적인 평가어가 없는 否정 문장에서는 주의가 균일하게 퍼지며 강한 감성 신호가 부족한 경우의 한계를 드러냈다.