[논문 리뷰] DeepSentiPers: Novel Deep Learning Models Trained Over Proposed Augmented Persian Sentiment Corpus

Javad Pourmostafa Roshan Sharami, Parsa Abbasi Sarabestani외 1명|arXiv (Cornell University)|2020. 04. 11.

Sentiment Analysis and Opinion Mining참고 문헌 23인용 수 18

한 줄 요약

이 논문은 증강된 파arsi 감성 분석 코퍼스를 기반으로 두 가지 새로운 아키텍처—양방향 LSTM(Bi-LSTM)과 컨볼루션 신경망(CNN)—를 사용한 파arsi 문장 수준 감성 분석를 위한 새로운 딥러닝 프레임워크인 DeepSentiPers를 제안한다. 세 가지 데이터 증강 기법을 도입하였으며, 번역 기반 증강 기법이 가장 우수한 성능을 보였다: FastText 임베딩과 Bi-LSTM를 사용한 이진 분류에서 F1 스코어 91.986%, 다중 클래스 감성 분석에서 69.33%의 성능을 기록하였다.

ABSTRACT

This paper focuses on how to extract opinions over each Persian sentence-level text. Deep learning models provided a new way to boost the quality of the output. However, these architectures need to feed on big annotated data as well as an accurate design. To best of our knowledge, we do not merely suffer from lack of well-annotated Persian sentiment corpus, but also a novel model to classify the Persian opinions in terms of both multiple and binary classification. So in this work, first we propose two novel deep learning architectures comprises of bidirectional LSTM and CNN. They are a part of a deep hierarchy designed precisely and also able to classify sentences in both cases. Second, we suggested three data augmentation techniques for the low-resources Persian sentiment corpus. Our comprehensive experiments on three baselines and two different neural word embedding methods show that our data augmentation methods and intended models successfully address the aims of the research.

연구 동기 및 목표

• 딥러닝을 위한 잘 레이블링되고 균형 잡힌 파arsi 감성 코퍼스가 부족한 문제를 해결하기 위해.
• 이진 및 다중 클래스 감성 분류를 모두 처리할 수 있는 새로운 딥러닝 아키텍처—Bi-LSTM 및 CNN—를 개발하기 위해.
• 저자원 파arsi 감성 데이터셋의 클래스 균형을 향상시키기 위해 세 가지 데이터 증강 기법을 제안하고 평가하기 위해.
• 사전 학습된(FastText) 및 학습된(Keras) 단어 임베딩 간의 성능 차이를 감성 분류 작업에서 비교하기 위해.
• Bi-LSTM가 파arsi 텍스트 기반 감성 분석에서 장거리 의존성을 더 잘 포착할 수 있음을 입증하기 위해.

제안 방법

• 파arsi 문장 수준 감성 분류를 위한 두 가지 딥러닝 아키텍처—Bi-LSTM 모델과 CNN 모델—를 제안하였다.
• 데이터 균형 및 다양성을 향상시키기 위해 세 가지 데이터 증강 기법—클래스 재균형, 역번역, 동의어 교체—를 적용하였다.
• Keras와 FastText를 통해 단어 임베딩을 사용하여 단어를 낮은 차원의 의미 공간에 표현하였다.
• 과적합을 방지하기 위해 드롭아웃(10%)을 적용하였으며, 이진 분류의 최종 밀도층에 시그모이드 활성화 함수를 사용하였다.
• 원본 데이터셋의 클래스 불균형으로 인해 주요 평가 지표로 가중 F1 스코어를 사용하였다.
• 기본 기계 학습 모델(NB, SVM, SGD)과 딥러닝 모델을 모두 사용하여 학습하였으며, 데이터 증강 변형에 따른 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 기존 기계 학습 기반 모델 대비 저자원 파arsi 텍스트에서 새로운 딥러닝 아키텍처가 감성 분류 성능을 향상시킬 수 있는가?
• RQ2 클래스 재균형, 역번역, 동의어 교체 중 어느 데이터 증강 기법이 불균형한 파arsi 감성 데이터셋에서 모델 일반화 능력을 가장 효과적으로 향상시키는가?
• RQ3 단어 임베딩 선택(Keras 대비 FastText)이 파arsi 감성 분석에서 딥러닝 모델의 성능에 유의미한 영향을 미치는가?
• RQ4 Bi-LSTM가 파arsi 텍스트 감성 분석에서 장거리 의존성을 포착하는 데 CNN보다 우수한가?
• RQ5 통합된 딥러닝 프레임워크가 파arsi에서 이진 및 다중 클래스 감성 분류를 효과적으로 동시에 처리할 수 있는가?

주요 결과

• 역번역 기반 데이터 증강과 FastText 임베딩을 사용한 Bi-LSTM 모델이 다중 클래스 감성 분류에서 최고의 F1 스코어 69.33%를 기록하였다.
• 역번역 기반 데이터 증강을 적용한 Bi-LSTM 모델은 이진 분류에서 91.986%의 F1 스코어를 기록하였으며, 기준 모델 대비 0.674% 높은 성능을 보였다.
• 역번역 기반 데이터 증강 기법은 모든 설정에서 일관되게 모델 성능을 향상시켰으며, 세 가지 증강 기법 중에서 가장 높은 순위를 기록하였다.
• FastText 임베딩은 Bi-LSTM 아키텍처에서 특히 두드러진 성능 향상을 보였으며, 이진 및 다중 클래스 설정 모두에서 Keras 임베딩보다 뛰어난 성능을 보였다.
• Bi-LSTM 모델은 특히 파arsi 텍스트에서 장거리 의존성을 처리하는 데서 CNN 모델보다 뛰어난 성능을 보였다.
• 단어 임베딩 선택은 맥락에 따라 달라지며, 모든 작업에서 한 가지 임베딩 방법이 항상 우월하지는 않음을 확인하였다.