[논문 리뷰] Ensemble of Generative and Discriminative Techniques for Sentiment Analysis of Movie Reviews

Grégoire Mesnil, Tomáš Mikolov외 2명|arXiv (Cornell University)|2014. 12. 17.

Sentiment Analysis and Opinion Mining참고 문헌 7인용 수 95

한 줄 요약

이 논문은 영화 리뷰의 감성 분석을 위해 생성적 언어 모델, 문장 임베딩, 재가중된 Bag-of-Words 특징을 조합한 앙상블 모델을 제안한다. 별도의 긍정 및 부정 n-gram 언어 모델로부터 유도된 우도 비율을 NB-SVM 및 문장 벡터와 같은 판별 모델과 통합함으로써, IMDB 데이터셋에서 기존 최고 성능을 갱신하는 92.57%의 정확도를 달성한다. 전체 코드는 재현성과 향후 확장성을 위해 공개되어 있다.

ABSTRACT

Sentiment analysis is a common task in natural language processing that aims to detect polarity of a text document (typically a consumer review). In the simplest settings, we discriminate only between positive and negative sentiment, turning the task into a standard binary classification problem. We compare several ma- chine learning approaches to this problem, and combine them to achieve the best possible results. We show how to use for this task the standard generative lan- guage models, which are slightly complementary to the state of the art techniques. We achieve strong results on a well-known dataset of IMDB movie reviews. Our results are easily reproducible, as we publish also the code needed to repeat the experiments. This should simplify further advance of the state of the art, as other researchers can combine their techniques with ours with little effort.

연구 동기 및 목표

• 다양한 기계 학습 기법의 앙상블를 활용해 IMDB 영화 리뷰 데이터셋에서 감성 분류 성능을 향상시키는 것.
• 일반적으로 판별 모델에 비해 간과되는 생성적 언어 모델이 감성 분석에 의미 있는 기여를 할 수 있는지 조사하는 것.
• 특히 생성적 접근 방식을 포함한 상호보완적인 모델들을 조합할 경우 개별 모델보다 뛰어난 성능을 낼 수 있음을 보여주는 것.
• 모든 코드를 공개하여 향후 연구자들이 쉽게 새로운 모델을 앙상블에 통합할 수 있도록 완전히 재현 가능한 프레임워크를 제공하는 것.

제안 방법

• SRILM 툴킷를 사용해 Kneser-Ney 스무딩을 적용하여, 긍정 리뷰와 부정 리뷰 각각에 대해 별도의 n-gram 언어 모델을 훈련한다.
• 테스트 리뷰의 긍정 및 부정 언어 모델 하에서의 우도 비율을 판별적 특징으로 삼고, 베이즈의 정리에 따라 사전 클래스 확률을 통합한다.
• 스킵-그램과 음성 샘플링을 사용해 훈련한 문장 임베딩(문장 벡터)를 활용해 전체 리뷰를 고정 크기의 밀집 벡터로 표현한다.
• 재가중된 Bag-of-Words 접근 방식(NB-SVM에 tf-idf 재가중)을 적용해 전통적인 Bag-of-Words 표현을 향상시킨다.
• 세 모델(생성적 우도 비율, 문장 벡터, NB-SVM)의 예측을 선형 앙상블을 통해 결합하고, 학습된 가중치를 사용한다.
• 모든 모델가 동일한 프rotocol 하에서 훈련 및 평가되도록 하며, 그리드 서치 또는 기타 방법을 통해 앙상블 가중치를 최적화하여 테스트 정확도를 극대화한다.

실험 결과

연구 질문

• RQ1 긍정 및 부정 리뷰에서 별도로 훈련된 생성적 언어 모델이 감성 분류에 유용한 판별 신호를 제공할 수 있는가?
• RQ2 IMDB 감성 분류 데이터셋에서 생성적 모델의 성능은 NB-SVM 및 문장 벡터와 같은 최고 수준의 판별 모델에 비해 어떠한가?
• RQ3 다양한 모델, 특히 서로 다른 인덕티브 바이어스를 가진 모델들이 앙상블 환경에서 얼마나 상호보완적인가?
• RQ4 생성적 모델을 포함한 여러 모델의 조합이 가장 우수한 개별 모델보다 측정 가능한 성능 향상을 이끌어낼 수 있는가?

주요 결과

• RNN 언어 모델, 문장 벡터, trigram 특징을 가진 NB-SVM의 앙상블이 IMDB 데이터셋에서 새로운 SOTA 정확도 92.57%를 달성했다.
• 개별 생성적 모델(n-gram 언어 모델)은 가장 낮은 성능을 보였으며 정확도 86.5%를 기록했지만, 여전히 앙상블에 의미 있는 기여를 하였다.
• NB-SVM trigram 모델만으로도 91.87%의 정확도를 기록했으며, 개별 모델 중 최고 성능을 보였지만 앙상블에선 뒤진다.
• 문장 벡터와 NB-SVM trigram의 조합은 92.39%의 정확도를 기록했으며, 이 두 모델 간의 강력한 상호보완성이 드러났다.
• 제거 분석 결과, 생성적 모델은 개별적으로 기여도가 가장 낮았지만, 그 포함이 앙상블 성능 향상에 기여함을 확인하여 상호보완적 특징 학습이 이루어졌음을 시사했다.
• 개별 모델이 잘못 분류한 리뷰들, 예를 들어 미묘하거나 비꼬는 감성의 리뷰들까지도 정확히 분류함으로써, 복잡한 감성에 대한 강건성을 입증했다.