[논문 리뷰] Aspect-based Opinion Summarization with Convolutional Neural Networks

Haibing Wu, Yiwei Gu외 2명|arXiv (Cornell University)|2015. 11. 30.

Sentiment Analysis and Opinion Mining참고 문헌 42인용 수 7

한 줄 요약

이 논문은 캐스케이드형 및 다중작업(CNN) 아키텍처를 사용하여 리뷰 문장을 사전에 정의된 요소들로 매핑하고 감성을 분류하는 CNN 기반 접근법을 제안한다. 다중작업 CNN은 SVM 기반 방법과 캐스케이드 CNN보다 뛰어난 성능을 보이며, 제품 리뷰의 요소 추출 및 감성 분류에서 뛰어난 성능을 입증한다.

ABSTRACT

This paper considers Aspect-based Opinion Summarization (AOS) of reviews on particular products. To enable real applications, an AOS system needs to address two core subtasks, aspect extraction and sentiment classification. Most existing approaches to aspect extraction, which use linguistic analysis or topic modeling, are general across different products but not precise enough or suitable for particular products. Instead we take a less general but more precise scheme, directly mapping each review sentence into pre-defined aspects. To tackle aspect mapping and sentiment classification, we propose two Convolutional Neural Network (CNN) based methods, cascaded CNN and multitask CNN. Cascaded CNN contains two levels of convolutional networks. Multiple CNNs at level 1 deal with aspect mapping task, and a single CNN at level 2 deals with sentiment classification. Multitask CNN also contains multiple aspect CNNs and a sentiment CNN, but different networks share the same word embeddings. Experimental results indicate that both cascaded and multitask CNNs outperform SVM-based methods by large margins. Multitask CNN generally performs better than cascaded CNN.

연구 동기 및 목표

• 특정 제품에 대해 정밀도를 향상시키기 위해 리뷰 문장을 사전에 정의된 요소들로 직접 매핑함으로써 요소 기반 감성 요약(AOS)을 향상시키는 것.
• 주제 모델링나 언어학적 분석과 같은 일반적인 목적의 요소 추출 방법의 한계를 해결하기 위해, 제품에 특화된 정확도가 떨어지는 문제를 해결하는 것.
• 요소 매핑과 감성 분류를 동시에 또는 순차적으로 처리하는 딥 러닝 모델을 개발하여 요약 품질을 향상시키는 것.
• 실제 제품 리뷰 데이터에 대해 캐스케이드형 및 다중작업 CNN 아키텍처의 효과를 평가하는 것.

제안 방법

• 캐스케이드형 CNN은 두 단계로 구성되며, 1단계에서는 다수의 CNN을 사용해 요소 매핑을 수행하고, 2단계에서는 단일 CNN을 사용해 감성 분류를 수행한다.
• 다중작업 CNN은 다수의 요소 전용 CNN과 감성 CNN 간에 단어 임베딩을 공유하여 파라미터 공유와 더 나은 일반화를 가능하게 한다.
• 요소 매핑은 다중 클래스 분류 작업으로 설정되며, 각 문장은 하나 이상의 사전 정의된 요소에 할당된다.
• 감성 분류는 소프트맥스 활성화 함수를 사용하는 최종 완전 연결 층을 통해 수행되어 감성 극성(예: 긍정, 부정, 중립)을 예측한다.
• 단어 임베딩은 훈련 과정에서 엔드 투 엔드로 학습되며, 다중작업 설정에서는 작업 간에 공유되어 특징 표현을 향상시킨다.
• 모델들은 레이블이 붙은 리뷰 데이터를 기반으로 미니배치 확률적 경사 하강법을 사용해 교차 엔트로피 손실 함수로 훈련된다.

실험 결과

연구 질문

• RQ1 딥 러닝 접근법이 기존의 SVM 기반 방법보다 요소 기반 감성 요약에서 뛰어난 성능을 보일 수 있는가?
• RQ2 요소 및 감성 네트워크 간에 단어 임베딩을 공유하면 다중작업 학습에서 성능 향상이 이루어지는가?
• RQ3 캐스케이드형 CNN 아키텍처가 요소 추출 및 감성 분류에서 다중작업 CNN보다 더 효과적인가?
• RQ4 CNN 기반 모델을 사용해 원시 리뷰 문장에서 사전 정의된 요소들을 얼마나 잘 예측할 수 있는가?

주요 결과

• 다중작업 CNN은 모든 평가 지표에서 캐스케이드형 CNN을 앞서며, 공유 표현의 이점을 입증한다.
• 모든 CNN 기반 모델은 요소 추출 및 감성 분류 작업에서 SVM 기반 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• 다중작업 CNN은 요소 검출에서 최고의 F1 스코어를 기록하여 향상된 일반화 능력과 강건성을 입증했다.
• 캐스케이드형 CNN은 뛰어난 성능를 보였지만, 특히 자원이 적은 요소 상황에서는 다중작업 버전보다 성능이 열 劣하다.
• 다중작업 모델에서의 공유 단어 임베딩 사용은 더 나은 특징 학습과 과적합 방지를 이끌어냈다.