[논문 리뷰] Progressive Self-Supervised Attention Learning for Aspect-Level Sentiment Analysis

Jialong Tang, Ziyao Lu외 5명|arXiv (Cornell University)|2019. 06. 04.

Sentiment Analysis and Opinion Mining참고 문헌 25인용 수 13

한 줄 요약

이 논문은 학습 데이터로부터 자동으로 주의 감독 신호를 추출하여 주의 메커니즘을 개선하는 점진적 자기지도 학습 주의 학습 방법을 제안한다. 예측 정확도 기반으로 주의 가중치가 가장 높은 문맥 단어를 반복적으로 식별하고 마스킹함으로써, 자주 사용되는 감성 어휘에 과도하게 의존하는 것을 줄이고, 성능 향상을 이룬다. 이는 여러 데이터셋에서 최신 기술보다 뛰어난 성능 향상을 이끌어낸다.

ABSTRACT

In aspect-level sentiment classification (ASC), it is prevalent to equip dominant neural models with attention mechanisms, for the sake of acquiring the importance of each context word on the given aspect. However, such a mechanism tends to excessively focus on a few frequent words with sentiment polarities, while ignoring infrequent ones. In this paper, we propose a progressive self-supervised attention learning approach for neural ASC models, which automatically mines useful attention supervision information from a training corpus to refine attention mechanisms. Specifically, we iteratively conduct sentiment predictions on all training instances. Particularly, at each iteration, the context word with the maximum attention weight is extracted as the one with active/misleading influence on the correct/incorrect prediction of every instance, and then the word itself is masked for subsequent iterations. Finally, we augment the conventional training objective with a regularization term, which enables ASC models to continue equally focusing on the extracted active context words while decreasing weights of those misleading ones. Experimental results on multiple datasets show that our proposed approach yields better attention mechanisms, leading to substantial improvements over the two state-of-the-art neural ASC models. Source code and trained models are available at https://github.com/DeepLearnXMU/PSSAttention.

연구 동기 및 목표

• 기존 신경 주의 메커니즘이 빈도가 높은 감성 어휘에 과도하게 집중하면서도 빈도가 낮지만 정보가 풍부한 단어를 간과하는 한계를 해결한다.
• 주의 감독을 위한 비용이 많이 드는 수동 주석이 필요 없도록, 학습 데이터로부터 이러한 신호를 자동으로 추출하는 자기지도 학습 방법을 개발한다.
• 예측 정확도 기반으로 반복적으로 주의 가중치를 개선함으로써 주의 메커니즘의 강건성과 일반화 능력을 향상시킨다.
• 활성어에 대한 집중을 장려하고 오해를 유도하는 단어의 집중을 억제하는 정규화 항을 도입함으로써 액티브 레벨 감성 분류 성능을 향상시킨다.

제안 방법

• 신경 액티브 감성 분류 모델을 사용하여 주의 기반으로 모든 학습 인스턴스에 대해 반복적으로 감성 예측을 수행한다.
• 각 반복 단계에서 각 학습 인스턴스의 주의 가중치가 가장 높은 문맥 단어를 주의 감독의 후보로 추출한다.
• 정답 레이블 기반으로 예측이 올바를 경우 '활성'으로, 잘못된 경우 '오해를 유도하는'으로 분류한다.
• 이전에 추출된 모든 단어를 학습 인스턴스에서 마스킹하여 재처리를 방지하고, 이후 반복에서 새로운 패턴을 발견하도록 유도한다.
• 활성어에 대해 높은 주의 가중치를 유지하고, 오해를 유도하는 단어에 대해서는 가중치를 감소시키도록 정규화 항을 구성한다.
• 기존 학습 목표에 이 정규화 항을 추가하여 반복적으로 주의 메커니즘을 점진적으로 개선한다.

실험 결과

연구 질문

• RQ1 학습 데이터로부터 자기지도적이고 반복적인 주의 신호 탐색이 액티브 레벨 감성 분류에서 주의 메커니즘을 향상시킬 수 있는가?
• RQ2 빈도가 높은 감성 어휘에 대한 과도한 의존도를 줄이면, 미리 보지 않은 테스트 인스턴스에서 더 나은 일반화와 성능을 달성할 수 있는가?
• RQ3 수동으로 주석 처리된 주의 레이블이 필요 없이, 점진적이고 자동적인 방법이 주의 감독을 대체할 수 있는가?
• RQ4 제안된 정규화 항은 빈도가 높고 낮은 감성 관련 단어들 사이의 주의 균형을 얼마나 효과적으로 조절하는가?
• RQ5 정확도와 주의 메커니즘 품질 측면에서, 이 방법은 최신 기술 기반 신경 액티브 감성 분류 모델을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 여러 벤치마크 데이터셋에서 두 개의 최신 기술 기반 신경 액티브 감성 분류 모델의 성능을 주의 메커니즘 개선을 통해 크게 향상시켰다.
• 모델은 더 나은 주의 시각화를 달성했으며, '작은'이나 '귀여운'과 같은 빈도가 높은 단어에 대한 과도한 집중을 줄이고, '혼잡한'과 같은 맥락적으로 관련성이 있지만 빈도가 낮은 단어에 대한 집중을 향상시켰다.
• 단어 '귀여운'의 경우, 부정 또는 중립 맥락에서 평균 주의 가중치가 원래 값의 7%로 감소하여 이전에 잘못 분류된 인스턴스에서 정확한 감성 예측을 달성했다.
• 테스트 인스턴스에서 '귀여운'의 주의 가중치를 0.1090에서 0.0062로 감소시킴으로써 오해를 유도하는 주의를 효과적으로 억제했고, 이로 인해 정확한 예측이 이루어졌다.
• 점진적 자기지도 학습 접근법은 이러한 정규화가 없는 모델보다 성능이 뛰어나, 자동으로 추출된 주의 감독의 효과성을 입증했다.
• 소스 코드와 훈련된 모델은 공개되어 있어 재현성과 주의 메커니즘 개선 분야의 향후 연구를 지원한다.