[논문 리뷰] Sentiment Analysis for Sinhala Language using Deep Learning Techniques

Lahiru Senevirathne, Piyumal Demotte외 3명|arXiv (Cornell University)|2020. 11. 14.

Sentiment Analysis and Opinion Mining참고 문헌 29인용 수 11

한 줄 요약

이 논문은 RNN, LSTM, Bi-LSTM, 계층적 주의 메커니즘 네트워크, 캡슐 네트워크를 포함한 딥러닝 모델을 사용하여 저자원 언어인僧加라어에 대한 다중 클래스 감성 분석에 대한 종합적인 연구를 제시한다. 15,059개의 댓글을 포함한 가장 큰 공개 가능한僧加라어 감성 데이터셋을 도입하였으며, 네 가지 클래스(긍정, 부정, 중립, 갈등)로 주석 처리하여 10겹 교차검증을 사용한 캡슐-B 아키텍처로 최고의 가중 F1 스코어 59.11%를 달성하였다.

ABSTRACT

Due to the high impact of the fast-evolving fields of machine learning and deep learning, Natural Language Processing (NLP) tasks have further obtained comprehensive performances for highly resourced languages such as English and Chinese. However Sinhala, which is an under-resourced language with a rich morphology, has not experienced these advancements. For sentiment analysis, there exists only two previous research with deep learning approaches, which focused only on document-level sentiment analysis for the binary case. They experimented with only three types of deep learning models. In contrast, this paper presents a much comprehensive study on the use of standard sequence models such as RNN, LSTM, Bi-LSTM, as well as more recent state-of-the-art models such as hierarchical attention hybrid neural networks, and capsule networks. Classification is done at document-level but with more granularity by considering POSITIVE, NEGATIVE, NEUTRAL, and CONFLICT classes. A data set of 15059 Sinhala news comments, annotated with these four classes and a corpus consists of 9.48 million tokens are publicly released. This is the largest sentiment annotated data set for Sinhala so far.

연구 동기 및 목표

• Sinhala 감성 분석을 위한 대규모 다중 클래스 주석 처리 데이터셋, 특히 이진 분류를 초월한 것이 부족한 문제를 해결하기 위해.
• Sinhala에서 문서 수준 감성 분류를 위해 표준 RNN부터 최신 캡슐 네트워크까지 광범위한 딥러닝 아키텍처를 평가하기 위해.
• 형태소적으로 풍부한 언어인 Sinhala와 같은 저자원 NLP 작업에서 언어 독립적 단어 임베딩(Word2Vec, fastText)의 효과를 탐구하기 위해.
• 미래의 Sinhala NLP 연구를 지원하기 위해 공개 가능한 코드베이스, 미리 훈련된 임베딩, 대규모 주석 처리된 데이터셋을 제공하기 위해.

제안 방법

• GossipLanka와 Lankadeepa 두 온라인 신문에서 수집한 15,059개의僧加라어 뉴스 댓글을 기반으로 새로운 데이터셋을 구축하였으며, 긍정, 부정, 중립, 갈등의 네 가지 감성 클래스로 주석 처리하였다.
• 모델 훈련 이전에 노이즈를 줄이기 위해 토큰화, 정규화 및 비僧加라어 문자를 제거하는 전처리를 수행하였다.
• 948만 토큰의 주석 처리되지 않은 코퍼스를 사용하여 Word2Vec과 fastText를 활용해 사전 훈련된 단어 임베딩을 적용하여 표현 학습을 향상시켰다.
• RNN, LSTM, GRU, Bi-LSTM, 스태킹된 변형, CNN+GRU/LSTM/BiLSTM, HAHNN, 캡슐 네트워크(capsule-A 및 capsule-B)를 포함한 다양한 딥러닝 모델을 훈련하고 비교하였다.
• 모델 성능 평가를 위해 10겹 교차검증과 홀아웃 검증을 적용하였으며, 주요 평가 지표로는 가중 정확도와 F1 스코어를 사용하였다.
• HAHNN에서는 주의 메커니즘을, 캡슐 네트워크에서는 포즈 공변 라우팅을 활용하여 텍스트 내 계층적이고 구조적인 종속성을 더 잘 포착하였다.

실험 결과

연구 질문

• RQ1 형태소적으로 풍부한 저자원 언어인 Sinhala와 같은 언어에서 다중 클래스 감성 분류를 위한 최적의 딥러닝 아키텍처는 무엇인가?
• RQ2 중립 및 갈등 클래스를 포함한 다중 클래스 감성 레이블의 포함이 이진 분류에 비해 감성 분석의 세밀함과 현실성에 어떻게 기여하는가?
• RQ3 언어 독립적 단어 임베딩이 Sinhala와 같은 저자원 NLP 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 주의 메커니즘과 캡슐 네트워크가 Sinhala 텍스트의 장거리 종속성과 감성 구성성을 모델링하는 데 어떻게 비교되는가?
• RQ5 Sinhala 감성 분석에서 주로 발생하는 잘못된 분류의 원인은 무엇이며, 이는 클래스 불균형과 언어적 복잡성과 어떻게 관련되어 있는가?

주요 결과

• 캡슐-B 모델이 10겹 교차검증 하에서 가장 높은 성능을 보였으며, 가중 F1 스코어 59.11%와 가중 정확도 63.23%를 기록하였다.
• Bi-LSTM 및 스태킹된 Bi-LSTM 모델이 표준 RNN 및 LSTM보다 뛰어난 성능을 보였으며, 이는 Sinhala에서 이중 방향적 문맥 모델링의 이점이 있음을 시사한다.
• HAHNN 모델은 가중 F1 스코어 59.25%를 기록하여 계층적 주의 메커니즘이 문장 수준 및 단어 수준의 감성 신호를 효과적으로 모델링할 수 있음을 보여주었다.
• 캡슐 네트워크, 특히 캡슐-B가 RNN 및 기본 LSTM과 같은 단순한 아키텍처를 뛰어넘어 성능을 높였으며, 이는 저자원 언어에서 복잡한 문법적 및 의미적 관계를 모델링할 잠재력을 시사한다.
• 혼동 행렬을 분석한 결과, 중립 및 갈등 클래스가 부정으로 잘못 분류되는 경우가 뚜렷하게 나타났으며, 주로 클래스 불균형과 혼합된 감성 표현의 존재 때문이었다.
• 전반적인 성능가 낮지만, 본 연구는 딥러닝 모델의 명확한 벤치마크와 비교 분석을 제공하였으며, 캡슐-B와 스태킹된 Bi-LSTM가 Sinhala 감성 분석에서 최상의 성능을 보이는 아키텍처로 확인되었다.