[논문 리뷰] Convolutional Neural Networks for Sentiment Classification on Business Reviews

Andreea Salinca|arXiv (Cornell University)|2017. 10. 16.

Topic Modeling참고 문헌 14인용 수 7

한 줄 요약

이 논문은 사전 훈련된 단어 임베딩을 사용하여 Yelp 비즈니스 리뷰의 감성 분류를 위한 단어 기반 컨볼루션 신경망(CNN) 모델을 제안한다. 대규모 Yelp 2017 데이터셋에서 3중 교차 검증을 통해 95.6%의 정확도를 달성하여 기존 전통적 방법 및 이전 딥러닝 모델들과 경쟁 가능한 성능을 보여준다.

ABSTRACT

Recently Convolutional Neural Networks (CNNs) models have proven remarkable results for text classification and sentiment analysis. In this paper, we present our approach on the task of classifying business reviews using word embeddings on a large-scale dataset provided by Yelp: Yelp 2017 challenge dataset. We compare word-based CNN using several pre-trained word embeddings and end-to-end vector representations for text reviews classification. We conduct several experiments to capture the semantic relationship between business reviews and we use deep learning techniques that prove that the obtained results are competitive with traditional methods.

연구 동기 및 목표

• 대규모 비즈니스 리뷰에서 단어 기반 CNN의 감성 분류 효과성을 조사하기 위해.
• 사전 훈련된 단어 임베딩(GloVe, word2vec, fastText)과 엔드 투 엔드로 학습된 표현 간의 성능 비교를 위해.
• 필터 크기, 특징 맵 수, 드롭아웃 정규화와 같은 아키텍처 하이퍼파라미터가 모델 성능에 미치는 영향을 평가하기 위해.
• 딥러닝 기법을 사용하여 Yelp 2017 챌린지 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성하기 위해.
• 텍스트 감성 분류를 위한 하이퍼파라미터 튜닝 및 모델 설계에 대한 경험적 통찰을 제공하기 위해.

제안 방법

• 연구는 토큰을 조밀한 벡터 표현으로 매핑하는 임bedding 레이어를 갖춘 단어 기반 CNN 아키텍처를 사용한다.
• 리뷰는 최대 1,000단어로 자르고 차원을 줄이기 위해 상위 100,000개의 빈도 높은 단어로 제한된다.
• 두 가지 CNN 모델을 비교한다: 하나는 단일 컨볼루션 레이어를 갖는 모델이고, 다른 하나는 더 깊은 아키텍처와 다수의 필터 영역 크기(예: 3, 4, 5)를 갖는 모델이다.
• 성능에 미치는 영향을 평가하기 위해 사전 훈련된 단어 임베딩(GloVe, word2vec, fastText)과 자체 훈련된 word2vec 임베딩을 평가한다.
• 정규화를 위해 드롭아웃 비율을 0.2와 0.5로 설정하고, 확률적 경사 하강법을 사용하여 최적화를 수행한다. 옵티마이저로는 Nesterov Adam 또는 RMSprop를 사용한다.
• 모델 평가에서는 전체 Yelp 2017 데이터셋에 대해 3중 교차 검증을 수행하며, 주요 평가 지표로 정확도를 사용한다.

실험 결과

연구 질문

• RQ1 Yelp 리뷰의 감성 분류에서 다양한 사전 훈련된 단어 임베딩(GloVe, word2vec, fastText) 간의 성능 비교는 어떻게 되는가?
• RQ2 컨볼루션 신경망의 성능에 대해 아키텍처의 깊이와 필터 영역 크기의 영향은 어떠한가?
• RQ3 드롭아웃 정규화는 대규모 리뷰 데이터셋에서 모델 일반화 및 정확도에 어떤 영향을 미치는가?
• RQ4 엔드 투 엔드로 학습된 단어 임베딩이 감성 분류 과제에서 사전 훈련된 임베딩을 초월할 수 있는가?
• RQ5 특히 Yelp 데이터셋의 소규모 및 대규모 서브셋을 비교할 때, 데이터셋 크기에 따라 모델 성능은 어떻게 변화하는가?

주요 결과

• 다양한 필터 영역 크기와 더 깊은 아키텍처를 갖춘 두 번째 CNN 모델이 3중 교차 검증을 통해 전체 Yelp 2017 데이터셋에서 최고의 정확도 95.6%를 기록했다.
• 300차원의 사전 훈련된 fastText 임베딩이 대규모 데이터셋에서 가장 높은 성능을 보였으며, 정확도 94.73%를 달성했다.
• Nesterov Adam 옵티마이저가 RMSprop를 초월하여 동일한 설정에서 95.15%의 정확도를 기록한 반면, RMSprop는 94.99%의 정확도를 기록했다.
• 더 강한 드롭아웃 정규화(0.5)는 경량 드롭아웃(0.2)보다 성능을 떨어뜨렸으며, 이는 이 설정에서 과도한 정규화가 발생했음을 시사한다.
• 대규모 데이터셋에서 사전 훈련된 GloVe 임베딩을 사용한 모델은 94.54%의 정확도를 기록하여 다양한 임베딩 유형 간의 뛰어난 안정성을 입증했다.
• Yelp 2015 데이터셋에 대한 이전 연구들, 특히 SVM 및 n-gram 분류기와 같은 전통적 방법들과 비교해도 경쟁력 있거나 더 뛰어난 결과를 보였다.