[논문 리뷰] Interactive Attention Networks for Aspect-Level Sentiment Classification

Dehong Ma, Sujian Li외 2명|arXiv (Cornell University)|2017. 09. 04.

Sentiment Analysis and Opinion Mining참고 문헌 13인용 수 126

한 줄 요약

IAN은 대화형 어텐션으로 타깃과 맥락을 함께 모델링하여 타깃 및 맥락 표현을 생성하고, restaurant 및 laptop 리뷰에 대해 SemEval-2014 Task 4에서 최첨단 정확도를 달성합니다.

ABSTRACT

Aspect-level sentiment classification aims at identifying the sentiment polarity of specific target in its context. Previous approaches have realized the importance of targets in sentiment classification and developed various methods with the goal of precisely modeling their contexts via generating target-specific representations. However, these studies always ignore the separate modeling of targets. In this paper, we argue that both targets and contexts deserve special treatment and need to be learned their own representations via interactive learning. Then, we propose the interactive attention networks (IAN) to interactively learn attentions in the contexts and targets, and generate the representations for targets and contexts separately. With this design, the IAN model can well represent a target and its collocative context, which is helpful to sentiment classification. Experimental results on SemEval 2014 Datasets demonstrate the effectiveness of our model.

연구 동기 및 목표

• 관심사 수준 감성 분류에서 타깃과 그 주변 맥락을 모두 정밀하게 모델링하는 것을 동기화한다.
• 타깃- 및 맥락 특화 표현을 상호 주의(attention)로 학습하는 Interactive Attention Networks (IAN)를 제안한다.
• 상호 작용하는 타깃-맥락 모델링이 SemEval-2014 데이터셋에서 더 우수한 감성 예측을 보임을 입증한다.
• 상호 감독으로 타깃과 맥락 표현을 분리 학습하는 것이 성능을 향상시킨다.

제안 방법

• 맥락 단어 시퀀스와 타깃 단어 시퀀스를 인코딩하기 위해 두 개의 LSTM 가지를 사용한다.
• LSTM 숨층의 평균으로 초기 맥락/타깃 표현을 얻는다.
• 교차 감독이 있는 어텐션을 적용한다: 맥락 어텐션은 타깃 평균 표현에 의해 가이드되고 그 반대도 마찬다.
• 크리티컬한 cr, tr을 얻고 분류를 위해 이를 연결(concatenate)한다.
• 비선형 층으로 투사하고 소프트맥스으로 감성 극성을 예측한다.
• 교차 엔트로피 손실과 L2 정규화를 사용하고 드롭아웃으로 규제화하며 엔드-투-엔드로 학습한다.

실험 결과

연구 질문

• RQ1 인터랙티브 어텐션으로 타깃과 맥락을 separately 모델링하는 것이 기존 방법들보다 관심사 수준 감성 분류를 향상시킬 수 있는가?
• RQ2 타깃 및 맥락 표현 간 상호 작용이 타깃 감성 예측에 더 잘 작용하는가?
• RQ3 IAN이 SemEval-2014 Restaurant 및 Laptop 데이터셋에서 다른 LSTM 기반 모델과 비교하여 어떤 성능을 보이는가?

주요 결과

• IAN은 Restaurant와 Laptop 도메인 모두에서 SemEval-2014 Task 4에서 평가된 기본 모델들 중 최고 정확도를 달성한다.
• ATAE-LSTM과 비교해 Restaurant 정확도는 약 1.4% 개선, Laptop은 약 3.2% 개선.
• 결손(ablation) 분석은 타깃 모델링 및 타깃-맥락 상호 작용이 성능에 이로움을 보여준다.
• 사례 연구는 맥락에서 감성 단어에 의미 있게 주목하고 관련 타깃 단어에 주목하는 어텐션 초점이 있음을 보여준다.
• 더 긴 타깃(더 많은 단어)은 LSTM 및 인터랙티브 어텐션을 통한 개별 타깃 모델링으로 더 큰 이득을 얻는다.