[논문 리뷰] RETUYT in TASS 2017: Sentiment Analysis for Spanish Tweets using SVM and CNN

Aiala Rosá, Luis Chiruzzo외 2명|arXiv (Cornell University)|2017. 10. 17.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

이 논문은 손으로 만든 특징과 SVM, 그리고 단어 임bedding을 사용한 CNN을 조합한 하이브리드 감성 분석 시스템을 제안하며, TASS 2017 공동 과제에서 뛰어난 성능을 기록하였다. 두 접근 방식의 조합은 여러 평가 세트에서 개선된 결과를 도출하였으며, 자원이 적은 언어의 감성 분석에 전통적 기계 학습과 딥 러닝을 통합하는 것이 효과적임을 보여주었다.

ABSTRACT

This article presents classifiers based on SVM and Convolutional Neural Networks (CNN) for the TASS 2017 challenge on tweets sentiment analysis. The classifier with the best performance in general uses a combination of SVM and CNN. The use of word embeddings was particularly useful for improving the classifiers performance.

연구 동기 및 목표

• 기존 방법이 제한된 성능을 보이는 스페인어 트윗에서 자원이 적은 감성 분석 문제를 해결하기 위해.
• 소셜 미디어의 감성 분류에 전통적 기계 학습(SVM)과 딥 러닝(CNN)을 조합하는 것이 얼마나 효과적인지 탐색하기 위해.
• 스페인어의 감성 분류 정확도에 대해 단어 임베딩과 어휘 자원이 미치는 영향을 평가하기 위해.
• 스페인어 트윗 텍스트의 비공식적이고 노이즈가 많으며 주관적인 특성을 다룰 수 있는 견고한 시스템을 개발하기 위해.

제안 방법

• 시스템은 두 가지 독립적인 접근 방식을 사용함: 손으로 만든 특징(단어 임베딩, 주관성 어휘 사전, n-그램 특징 포함)을 기반으로 훈련한 서포트 벡터 머신(SVM) 분류기.
• 전이 학습된 단어 임베딩을 입력으로 사용하여 훈련된 컨볼루션 신경망(CNN)은 원시 트윗 시퀀스를 직접 처리함.
• SVM 모델은 주관성 어휘 사전 매칭, 否정 처리, n-그램 패턴 등을 특징으로 포함하여 문법적 및 의미적 단서를 포착함.
• CNN 모델은 고정 길이의 단어 임베딩 시퀀스를 처리하며, 컨볼루션 계층을 통해 局부적 특징을 추출하고 풀링을 통해 차원을 감소시킴.
• SVM 및 CNN 모델의 확률적 출력을 융합하여 전체 분류 성능을 향상시키기 위해 하이브리드 앙상블 방법을 적용함.
• 단어 임베딩는 대규모 뉴스 코퍼스를 기반으로 word2vec을 사용하여 유도되었으며, GloVe 및 fastText와의 평가 결과, 더 우수한 성능을 보인 것으로 선택됨.

실험 결과

연구 질문

• RQ1 손으로 만든 특징과 SVM, 단어 임베딩와 CNN을 조합한 하이브리드 접근 방식은 스페인어 트윗 감성 분류에 얼마나 효과적인가?
• RQ2 사전에 학습된 단어 임베딩는 자원이 적은 소셜 미디어 텍스트의 감성 분류 성능을 얼마나 향상시키는가?
• RQ3 어휘 자원과 신경망 모델의 조합은 개별 모델보다 스페인어 트윗 감성 분석에서 더 뛰어난 성능을 낼 수 있는가?
• RQ4 다양한 유형의 단어 임베딩(Word2Vec, GloVe, fastText)은 스페인어 감성 분류 성능에서 어떻게 비교되는가?

주요 결과

• 손으로 만든 특징(주관성 어휘 사전, n-그램 패턴 포함)을 사용한 SVM 기반 시스템은 경쟁적인 성능을 기록하였으며, 언어학적 사전 지식의 가치를 입증함.
• word2vec 임베딩를 사용해 훈련된 CNN 모델은 뛰어난 성능을 보였으며, 딥 러닝 모델이 노이즈가 많은 트윗 텍스트에서 감성 관련 패턴을 효과적으로 포착할 수 있음을 시사함.
• SVM 및 CNN 출력을 확률적 융합 방식으로 조합한 하이브리드 모델은 모든 평가 세트에서 가장 우수한 결과를 기록하였으며, 개별 모델보다 뛰어난 성능을 보임.
• 형용형 형태를 포함한 개선된 교차 기반 주관성 어휘 사전 사용은 원래 어간 대비 커버리지와 성능 향상을 이룸.
• GloVe 임베딩는 word2vec에 비해 성능이 열 劣했으며, 스페인어 도메인에서 낮은 어휘 커버리지가 원인일 가능성이 있음.
• 최종 시스템은 TASS 2017 공동 과제에서 최고 성능을 기록하였으며, 스페인어 감성 분석에 전통적 기계 학습과 딥 러닝 기법을 통합하는 것이 효과적임을 확인함.