[논문 리뷰] Leveraging Sparse and Dense Feature Combinations for Sentiment Classification

Tao Yu, Christopher Hidey외 2명|arXiv (Cornell University)|2017. 08. 13.

Sentiment Analysis and Opinion Mining참고 문헌 11인용 수 5

한 줄 요약

이 논문은 품사 태그(POS)로 그룹화된 조밀한 단어 임베딩과 희소 n-그램 특징을 조합한 단순하지만 강력한 감성 분류 모델을 제안한다. 로지스틱 회귀 분류기를 사용하여 다양한 벤치마크에서 최신 기술에 근접한 성능을 달성하며, 복잡한 딥러닝 모델보다 대부분의 데이터셋에서 뛰어난 성능을 보이며 동시에 빠르고 간편하게 학습이 가능하다.

ABSTRACT

Neural networks are one of the most popular approaches for many natural language processing tasks such as sentiment analysis. They often outperform traditional machine learning models and achieve the state-of-art results on most tasks. However, many existing deep learning models are complex, difficult to train and provide a limited improvement over simpler methods. We propose a simple, robust and powerful model for sentiment classification. This model outperforms many deep learning models and achieves comparable results to other deep learning models with complex architectures on sentiment analysis datasets. We publish the code online.

연구 동기 및 목표

• 딥 뉴럴 네트워크의 복잡성과 학습 부담을 피하면서도 경량이면서 고성능인 감성 분류 모델을 개발하기 위해.
• 기존 NBSVM을 초월해 희소 백오브워즈 특징과 조밀한 단어 임베딩을 조합함으로써 감성 분류 성능 향상이 가능한지 조사하기 위해.
• 감성 분류 성능에 대해 품사 태그(POS)로 그룹화된 단어 임베딩의 영향을 평가하기 위해.
• 복잡한 딥러닝 아키텍처와 비교하여 정확도 및 학습 효율성 측면에서 제안된 방법의 성능을 평가하기 위해.
• 단순한 선형 모델이 복잡한 아키텍처를 필요로 하지 않으면서도 간편하게 구현 가능한 감성 분석 기준 모델을 제공하기 위해.

제안 방법

• 모델은 나이브 베이즈 서포트 벡터 머신(NBSVM) 프레임워크를 사용하며, 각 클래스의 n-그램에 대한 로그 빈도 비율을 계산하여 희소 특징 벡터를 형성한다.
• 문장 내 모든 단어의 단어 임베딩을 평균하여 조밀한 벡터를 생성하고, 품사 태그(NOUN, VERB, ADJECTIVE)에 따라 임베딩을 그룹화하여 추가적인 조밀한 벡터를 생성한다.
• 트위터 감성 데이터셋(TTwt)의 경우, 대상 단어를 위한 추가 평균 임베딩 벡터를 계산하여 대상 의존 감성 분류를 가능하게 한다.
• 로지스틱 회귀 분류기의 최종 입력은 희소 NBSVM 특징 벡터와 조밀한 임베딩 벡터(품사 태그로 그룹화된 것과 평균 임베딩 포함)의 연결이다.
• 사전 학습된 구글 word2vec 임베딩을 사용하며, 모든 모델은 Kim(2014)에서 사용된 동일한 전처리 절차를 적용한다.
• 모델은 희소 및 조밀한 특징 표현을 결합한 후, 로지스틱 회귀를 사용하여 학습한다.

실험 결과

연구 질문

• RQ1 희소 n-그램 특징와 조밀한 단어 임베딩을 조합함으로써 기존 표준 NBSVM을 초월해 감성 분류 성능 향상이 가능한가?
• RQ2 품사 태그로 그룹화된 단어 임베딩이 감성 분류 성능에 뚜렷한 향상 효과를 주는가?
• RQ3 AdaSent 및 BLSTM-2DPooling와 같은 복잡한 딥러닝 아키텍처와 비교해 제안된 모델의 정확도 및 학습 효율성은 어떠한가?
• RQ4 엔지니어링된 특징을 가진 단순한 선형 모델이 감성 벤치마크에서 더 복잡한 신경망보다 성능을 동등하거나 초월할 수 있는가?
• RQ5 감성 분류 작업에서 원시 평균 임베딩 대비 품사 태그가 부여된 임베딩을 사용하는 데에 유의미한 이점이 있는가?

주요 결과

• MR 데이터셋에서 NBLR + POSwemb 모델은 81.6%의 정확도를 기록하여 원본 NBSVM(79.4%)보다 2.2%p 높은 성능을 보였다.
• CR 데이터셋에서는 84.0%의 정확도를 기록하여 NBSVM(81.8%)보다 2.2%p 향상되었다.
• MPQA 데이터셋에서는 89.9%의 정확도를 기록하여 NBSVM(86.3%)를 초월했으며, 대부분의 복잡한 딥러닝 모델과 동등하거나 이를 능가했다.
• IMDB 데이터셋에서는 91.8%의 정확도를 기록하여 NBSVM(91.2%)를 능가했으며, AdaSent(93.3%)에 이어 두 번째로 높은 성능을 기록했다.
• TTwt 데이터셋에서는 매크로 F-스코어 69.9%를 기록하여 Targ-dept+(69.5%)와 AdaRNN comb(65.9%)와 같은 다른 대상 의존 모델을 능가했다.
• 모델은 여러 벤치마크에서 일관되게 최고 또는 2위를 기록하며, 임베딩을 활용한 단순한 특징 공학이 복잡한 딥러닝 모델과 견줄 만한 성능을 낼 수 있음을 보여주었다.