[논문 리뷰] Aspect Category Detection via Topic-Attention Network

Sajad Movahedi, Erfan Ghadery외 2명|arXiv (Cornell University)|2019. 01. 04.

Sentiment Analysis and Opinion Mining참고 문헌 21인용 수 33

한 줄 요약

TAN은 벡터 기반 카테고리 모델링과 squash 활성화를 활용하는 다주제 어텐션 메커니즘을 사용하여 레스토랑 도메인 측면 카테고리를 탐지하고, 2014년 및 2016년 데이터셋에서 여러 SemEval 베이스라인 대비 개선을 보여준다.

ABSTRACT

The e-commerce has started a new trend in natural language processing through sentiment analysis of user-generated reviews. Different consumers have different concerns about various aspects of a specific product or service. Aspect category detection, as a subtask of aspect-based sentiment analysis, tackles the problem of categorizing a given review sentence into a set of pre-defined aspect categories. In recent years, deep learning approaches have brought revolutionary advances in multiple branches of natural language processing including sentiment analysis. In this paper, we propose a deep neural network method based on attention mechanism to identify different aspect categories of a given review sentence. Our model utilizes several attentions with different topic contexts, enabling it to attend to different parts of a review sentence based on different topics. Experimental results on two datasets in the restaurant domain released by SemEval workshop demonstrates that our approach outperforms existing methods on both datasets. Visualization of the topic attention weights shows the effectiveness of our model in identifying words related to different topics.

연구 동기 및 목표

• 문장이 여러 카테고리에 속할 수 있는 레스토랑 리뷰에서 다중 라벨 측면 카테고리 탐지(ACD)를 다룬다.
• 여러 주제를 통해 문장 부분에 주의를 기울이는 단일 모델을 제안하여 다수의 일대다(one-vs-all) 분류기를 학습하는 대신.
• 벡터화된 출력과 squash 활성화를 사용하여 카테고리 표현의 방향성과 길이 정보를 보존한다.
• 주제 관련 가중치의 다양성과 직교성을 촉진하기 위해 정규화 항을 도입한다.
• SemEval-2014 및 SemEval-2016 데이터셋에서의 실험을 통해 효과를 입증하고 주제 주의의 시각적 근거를 제시한다.

제안 방법

• 단어 표현을 얻기 위해 양방향 GRU로 문장을 인코딩한다.
• 다중 주제 인식 문장 표현을 얻기 위해 주제별 주의를 계산한다.
• 주제 특징에 비선형 'squash' 변환을 적용하고 이를 다주제 문장 표현으로 연결한다.
• 각 측면 카테고리마다 squash 활성화 계층으로 문장 표현을 변환하여 길이가 카테고리 확률로 간주되는 벡터를 생성한다(L2 노름 사용).
• 주제 가중치 간 직교성을 강제하는 정규화 항과 함께 평균 제곱 오차 손실로 학습하여 주제 다양성을 촉진한다.

실험 결과

연구 질문

• RQ1 다중 주제 주의 메커니즘이 다중 라벨 설정에서 단일 주의 기반선보다 ACD를 개선할 수 있는가?
• RQ2 각 측면을 벡터로 표현하고 그 길이를 확률로 사용하는 것이 스칼라 분류 방식보다 우수한가?
• RQ3 직교성 촉진 정규화가 주제 다양성과 전반적인 ACD 성능을 향상시키는가?
• RQ4 TAN은 SemEval-2014 및 SemEval-2016 레스토랑 데이터셋에서 확립된 베이스라인에 비해 어떤 성능을 보이는가?

주요 결과

• TAN은 SemEval-2016에서 F1-점수 기준으로 여러 베이스라인을 능가하며 MTNA, VA, TAwS 및 NRC-Canada 베이스라인보다 더 큰 이득을 보인다.
• SemEval 2014에서 TAN은 VA, RepLearn, TAwS, MTNA 및 NRC-Canada를 F1-score에서 능가하며 CAN도 경쟁력이 있다.
• TAN의 다주제 주의와 squash 기반 벡터 출력은 단일 주의 변형(VA) 및 제거된 squash 변형(TAwS)보다 더 강한 성능을 낸다.
• 주제 주의 가중치의 시각화는 단어가 서로 다른 주제(예: SERVICE, FOOD)와 정렬되어 서로 다른 측면 유사 신호에 대응함을 보여준다.
• 모델은 미세한 주제에 주의를 기울이고 벡터의 방향성과 길이를 보존하는 것이 다중 라벨 설정에서 ACD를 향상시킴을 보여준다.