[논문 리뷰] Exploiting Deep Learning for Persian Sentiment Analysis

Kia Dashtipour, Mandar Gogate외 4명|arXiv (Cornell University)|2018. 08. 15.

Sentiment Analysis and Opinion Mining참고 문헌 22인용 수 11

한 줄 요약

이 논문은 새로 제작한 영화 리뷰 데이터셋을 바탕으로 페르시아어 감성 분석을 위한 딥러닝 모델—딥 오토에인코드어와 1D 컨볼루션 신경망(CNNs)—을 제안하고 평가한다. fastText 단어 임베딩을 사용하고 다층퍼셉트론(MLP)과의 비교 평가를 통해 1D-CNN가 82.86%의 최고 정확도를 기록하며 오토에인코드어와 최신 기술 기반의 MLP 기준선보다 뛰어난 성능을 보였다.

ABSTRACT

The rise of social media is enabling people to freely express their opinions about products and services. The aim of sentiment analysis is to automatically determine subject's sentiment (e.g., positive, negative, or neutral) towards a particular aspect such as topic, product, movie, news etc. Deep learning has recently emerged as a powerful machine learning technique to tackle a growing demand of accurate sentiment analysis. However, limited work has been conducted to apply deep learning algorithms to languages other than English, such as Persian. In this work, two deep learning models (deep autoencoders and deep convolutional neural networks (CNNs)) are developed and applied to a novel Persian movie reviews dataset. The proposed deep learning models are analyzed and compared with the state-of-the-art shallow multilayer perceptron (MLP) based machine learning model. Simulation results demonstrate the enhanced performance of deep learning over state-of-the-art MLP.

연구 동기 및 목표

• 자연어처리(NLP) 분야에서 자원이 부족한 언어인 페르시아어에 대해 딥러닝 기반 감성 분석 모델의 부족을 해결하기 위해.
• 특히 페르시아어 감성 분류를 위한 딥 네트워크 아키텍처—딥 오토에인코드어와 1D-CNN—을 개발하고 평가하기 위해.
• 최근 수집한 페르시아어 영화 리뷰 데이터셋에서 딥러닝 모델의 성능을 최신 기술 기반의 얕은 MLP 기반 분류기와 비교하기 위해.
• 딥러닝 기법을 활용한 페르시아어 감성 분석 분야의 향후 연구를 위한 기준점을 설정하기 위해.

제안 방법

• 단어 임베딩은 fastText를 사용하여 생성되었으며, 각 단어를 300차원의 벡터로 변환하여 의미적 특징을 표현하였다.
• 감성 분류를 위해 표준 역전파 알고리즘을 사용한 100회 반복 학습을 수행한 다층퍼셉트론(MLP)을 훈련시켰다.
• 차원 감소와 비지도 학습을 통한 특징 학습을 위해 3개의 은닉층(1500, 512, 1500)을 가진 딥 오토에인코드어를 활용하였다.
• 11층의 아키텍처(4개의 컨볼루션, 4개의 맥스풀링, 3개의 완전연결층)를 가진 1D-CNN을 설계하였으며, 필터 크기 2와 15개의 특징 맵을 사용하였고, 이후 ReLU 및 소프트맥스 활성화 함수를 적용하였다.
• CNN 모델은 입력 시퀀스를 연결된 단어 벡터로 처리하였으며, 각 컨볼루션 레이어 후에 맥스풀링을 적용하여 특징을 다운샘플링하였다.
• 정밀도, 재현율, F-측도, 정확도를 사용하여 성능을 평가하였으며, 최종 레이어는 다중분류를 위해 소프트맥스를 사용하였다.

실험 결과

연구 질문

• RQ1 딥 오토에인코드어는 페르시아어 텍스트의 감성 분류를 위한 분류 가능한 표현을 효과적으로 학습할 수 있는가?
• RQ2 1D-CNN 아키텍처는 페르시아어 영화 리뷰의 감성 분류에서 기존의 얕은 모델인 MLP보다 뛰어난 성능을 보일 수 있는가?
• RQ3 자원이 부족한 언어인 페르시아어에서 딥러닝 모델의 성능은 최신 기술 기반의 얕은 분류기와 비교해 어떻게 나타나는가?
• RQ4 fastText에서 유도한 단어 임베딩이 딥 네트워크와 조합되었을 때 페르시아어 감성 분류 성능을 얼마나 향상시키는가?

주요 결과

• 1D-CNN 모델은 전체 정확도 82.86%를 기록하여 MLP(78.49%)와 오토에인코드어(80.08%) 모델보다 유의미하게 뛰어난 성능을 보였다.
• CNN 모델은 매크로 F-측도 0.83을 기록하여 긍정 및 부정 감성 클래스 간 정밀도와 재현율의 균형이 잘 잡혀 있음을 나타냈다.
• 오토에인코드어 모델은 MLP 기준선을 초월하여 평균 정확도 80.08%를 달성하였고, MLP의 78.49%보다 높았다.
• CNN 모델은 부정 감성에 대해 최고의 정밀도(90%)를 기록했고, 긍정 감성에 대해서도 높은 재현율(89%)을 보여, 양측 클래스 예측에서 뛰어난 강건성을 확보하였다.
• 결과는 자동 특징 학습을 수행하는 딥러닝 모델이 수작업 특징 설계에 의존하는 전통적인 머신러닝 모델보다 우수한 성능을 내는 것을 확인했다.
• 이 연구는 새로 제작한 페르시아어 영화 리뷰 데이터셋을 기반으로 페르시아어 감성 분석의 새로운 기준점을 설정하였으며, 1D-CNN이 가장 효과적인 아키텍처로 부각되었다.