[논문 리뷰] Learning to Attend via Word-Aspect Associative Fusion for Aspect-based Sentiment Analysis

Yi Tay, Anh Tuan Luu외 1명|arXiv (Cornell University)|2017. 12. 14.

Sentiment Analysis and Opinion Mining참고 문헌 18인용 수 27

한 줄 요약

이 논문은 원소 기반 감성 분석을 위한 새로운 신경망 아키텍처인 Aspect Fusion LSTM (AF-LSTM)을 제안한다. 이는 원형 컨볼루션과 연관 병합을 통해 단어-요약어 관계를 모델링함으로써 더 효과적인 주의 메커니즘을 가능하게 한다. AF-LSTM는 기준 벤치마크에서 ATAE-LSTM보다 평균 4%-5% 높은 성능을 기록하며, 파라미터 수를 줄였다.

ABSTRACT

Aspect-based sentiment analysis (ABSA) tries to predict the polarity of a given document with respect to a given aspect entity. While neural network architectures have been successful in predicting the overall polarity of sentences, aspect-specific sentiment analysis still remains as an open problem. In this paper, we propose a novel method for integrating aspect information into the neural model. More specifically, we incorporate aspect information into the neural model by modeling word-aspect relationships. Our novel model, extit{Aspect Fusion LSTM} (AF-LSTM) learns to attend based on associative relationships between sentence words and aspect which allows our model to adaptively focus on the correct words given an aspect term. This ameliorates the flaws of other state-of-the-art models that utilize naive concatenations to model word-aspect similarity. Instead, our model adopts circular convolution and circular correlation to model the similarity between aspect and words and elegantly incorporates this within a differentiable neural attention framework. Finally, our model is end-to-end differentiable and highly related to convolution-correlation (holographic like) memories. Our proposed neural model achieves state-of-the-art performance on benchmark datasets, outperforming ATAE-LSTM by $4\%-5\%$ on average across multiple datasets.

연구 동기 및 목표

• 기본적으로 요약어와 단어 임베딩을 연결하는 방식으로 인해 훈련 안정성 저하와 높은 파라미터 비용을 겪는 ATAE-LSTM와 같은 기존 주의 기반 모델의 한계를 해결한다.
• 요약어 어휘와 문맥 단어 간의 관계를 명시적으로 모델링하는 전용 연관 레이어를 설계하여, 이 작업을 순차적 모델링 및 주의 학습에서 분리한다.
• 원형 컨볼루션과 상관관계를 통한 허프먼틱 유사 표현을 활용해 더 풍부하고 미분 가능한 연관 기억을 가능하게 하여 주의 효과성을 향상시킨다.
• 원형 컨볼루션과 요소별 곱셈과 같은 더 효율적인 병합 메커니즘을 도입함으로써 연결 대체로 모델 복잡도를 줄이고 성능을 향상시킨다.
• 원형 컨볼루션을 통한 연관 병합이 연결 및 표준 Hadamard 곱에 비해 원소 인식 주의 학습에서 현저히 뛰어나다는 것을 입증한다.

제안 방법

• 원형 컨볼루션과 원형 상관관계를 사용하여 요약어 임베딩과 단어 임베딩 간의 유사도를 계산하는 새로운 단어-요약어 연관 레이어를 도입한다.
• 원형 컨볼루션을 주요 연관 연산자로 사용하여 단어-요약어 관계의 고차원적이고 압축된 표현을 학습하며, 허프먼틱 복원 표현에 영감을 받는다.
• 병합된 단어-요약어 표현을 기반으로 기울기 전파가 가능한 주의 메커니즘에 통합하여, 모델이 요약어 맥락에 따라 관련 단어에 동적으로 주의를 기울일 수 있도록 한다.
• ATAE-LSTM의 연결 기반 병합을 제거하고 제안된 연관 병합 레이어로 대체하여 AF-LSTM 아키텍처를 구성하며, 엔드 투 엔드 기울기 전파를 유지한다.
• 다양한 병합 변형(원형 컨볼루션 (CONV), 원형 상관관계 (CCOR), 요소별 곱셈 (MUL))을 평가하여 가장 효과적인 연관 연산자를 식별한다.
• 표준 역전파를 사용하여 모델을 엔드 투 엔드로 훈련하며, 주의 레이어는 단어-요약어 관계 학습이 아닌 병합 표현의 가중치를 할당하는 데 집중한다.

실험 결과

연구 질문

• RQ1 전용 연관 병합 레이어가 단어-요약어 관계를 명시적으로 모델링함으로써 원소 기반 감성 분석의 주의 성능을 향상시킬 수 있는가?
• RQ2 원형 컨볼루션은 원형 상관관계나 요소별 곱셈과 같은 다른 연관 연산자보다 단어-요약어 상호작용을 학습하는 데 더 효과적인가?
• RQ3 연결 대체로 연관 병합을 도입함으로써 ATAE-LSTM과 비교해 모델 복잡도를 줄이고 성능을 향상시킬 수 있는가?
• RQ4 강력한 기준 모델인 AT-LSTM와 ATAE-LSTM에 비해 제안된 AF-LSTM 모델은 다양한 데이터셋과 분류 설정(이진 vs. 3방향)에서 어떻게 성능을 내는가?
• RQ5 품질 분석을 통해 모델의 주의 메커니즘이 다양한 요약어에 대해 올바르게 적응하는 정도는 어느 정도인가?

주요 결과

• 원형 컨볼루션을 사용한 AF-LSTM (AF-LSTM CONV)는 여러 기준 데이터셋에서 평균적으로 ATAE-LSTM보다 4%-5% 높은 최신 기술(SOTA) 성능을 기록한다.
• AF-LSTM (CONV)는 모든 설정에서 ATAE-LSTM를 뛰어넘으며, 3방향 분류에서는 3%-8%의 향상, 이진 분류에서는 2%-3%의 향상이 이루어졌다.
• AF-LSTM의 요소별 곱셈(MUL) 변형은 약 1% 높은 성능을 보이며 AT-LSTM를, 약 3% 높은 성능을 보이며 ATAE-LSTM를 뛰어넘어 단순한 병합 방식이 연결보다 더 효과적일 수 있음을 보여준다.
• 원형 컨볼루션은 원형 상관관계보다 더 효과적이며, 후자의 비대칭성으로 인해 단어와 요약어 역할이 상호 교환 가능한 경우 성능 저하가 발생할 수 있기 때문이다.
• AF-LSTM의 파라미터 수는 약 810K로, AT-LSTM(약 1.1M)과 ATAE-LSTM(약 1.4M)보다 작으며, 성능을 유지하면서도 효율성이 향상됨을 보여준다.
• 품질 분석을 통해 AF-LSTM는 요약어에 따라 주의 집중 영역을 정확히 이동시키는 반면, ATAE-LSTM는 특히 'Appetizer'와 'Service'와 같은 요약어에 대해 일관되게 그러한 기능을 수행하지 못함을 확인했다.