[논문 리뷰] Urdu Speech and Text Based Sentiment Analyzer

Waqar Ahmad, Maryam Edalati|arXiv (Cornell University)|2022. 07. 19.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

이 논문은 수동으로 주석 처리된 10,000개의 트윗으로 구성된 우르두어 감성 분석 데이터셋을 제안하며, 이 데이터셋에서 Naive Bayes, TextBlob, VADER, Stanza, Flair 등의 사전 사전 및 규칙 기반 모델 다섯 가지를 평가한다. Flair는 70%의 최고 정확도를 기록하여 번역 기반 접근법과 사전 훈련된 모델을 사용한 우르두어 감성 분석의 강력한 기준을 확립한다.

ABSTRACT

Discovering what other people think has always been a key aspect of our information-gathering strategy. People can now actively utilize information technology to seek out and comprehend the ideas of others, thanks to the increased availability and popularity of opinion-rich resources such as online review sites and personal blogs. Because of its crucial function in understanding people's opinions, sentiment analysis (SA) is a crucial task. Existing research, on the other hand, is primarily focused on the English language, with just a small amount of study devoted to low-resource languages. For sentiment analysis, this work presented a new multi-class Urdu dataset based on user evaluations. The tweeter website was used to get Urdu dataset. Our proposed dataset includes 10,000 reviews that have been carefully classified into two categories by human experts: positive, negative. The primary purpose of this research is to construct a manually annotated dataset for Urdu sentiment analysis and to establish the baseline result. Five different lexicon- and rule-based algorithms including Naivebayes, Stanza, Textblob, Vader, and Flair are employed and the experimental results show that Flair with an accuracy of 70% outperforms other tested algorithms.

연구 동기 및 목표

• 자원이 적은 언어 NLP 연구를 위한 수동으로 주석 처리된 다중 클래스 우르두어 감성 분석 데이터셋을 구축하기 위해.
• 기존의 사전 기반 및 규칙 기반 감성 분석 모델이 우르두어 텍스트에서 어떻게 성능을 발휘하는지 평가하기 위해.
• 번역 기반 및 사전 훈련된 모델을 사용한 향후 우르두어 감성 분석 연구를 위한 기준을 설정하기 위해.
• NLP 분야에서 공개 가능하고 고품질의 우르두어 감성 데이터셋이 부족한 문제를 해결하기 위해.

제안 방법

• 데이터셋은 우르두어 사용자 리뷰를 활용해 트위터에서 수집되었으며, 인간 전문가에 의해 긍정 및 부정 감성 클래스로 수동 주석 처리되었다.
• 텍스트는 Google Translate API를 사용해 영어로 번역되어 영어 기반 감성 분석 모델과의 호환성을 확보하였다.
• 다섯 가지 사전 기반 모델—Naive Bayes, TextBlob, VADER, Stanza, Flair—가 번역된 텍스트에 적용되어 감성 분류에 사용되었다.
• Flair는 번역된 우르두어 텍스트에서 감성 예측을 위해 사전 훈련된 영어 감성 모델(en-sentiment)을 사용하였다.
• 성능 평가는 10,000개 샘플 테스트 세트에서 혼동 행렬과 정확도 점수를 사용하여 평가되었다.
• 연구는 파이프라인 접근법을 채택하였으며, 해당 과정은 관련이 있을 경우 음성에서 텍스트로의 번역을 거친 후, 사전 훈련된 모델을 사용한 감성 분류를 포함한다.

실험 결과

연구 질문

• RQ1 번역 후 영어 기반 모델을 사용할 때, 기존의 사전 기반 및 규칙 기반 감성 분석 모델이 자원이 적은 우르두어 텍스트에서 얼마나 효과적인가?
• RQ2 새로운 우르두어 감성 분석 데이터셋에서 다양한 감성 분석 모델 간의 성능 격차는 어떠한가?
• RQ3 번역 및 사전 훈련된 영어 모델을 사용할 때 Flair가 우르두어 텍스트의 감성 분류에서 다른 모델을 능가할 수 있는가?
• RQ4 수동으로 주석 처리된 10,000개 샘플의 데이터셋을 사용할 때 우르두어 감성 분석에서 달성 가능한 기준 정확도는 무엇인가?
• RQ5 모델 간 성능 차이가 NLP 분야에서 자원이 적은 언어 처리의 과제를 어떻게 반영하는가?

주요 결과

• Flair는 수동으로 주석 처리된 우르두어 데이터셋에서 70%의 최고 정확도를 기록하여 다른 모든 테스트 모델을 앞서갔다.
• Naive Bayes와 TextBlob는 모두 59%의 정확도를 기록하여 우르두어 감성 분류 작업에서 중간 수준의 성능을 보였다.
• VADER는 45%의 정확도를 기록하여 영어 사전 기반 규칙을 사용할 경우 우르두어 텍스트에 대해 제한된 효과성을 보였다.
• Stanza는 오직 31%의 정확도를 기록하여 영어 NLP 도구를 사용할 경우 우르두어에 대해 일반화 능력이 떨어지는 것으로 나타났다.
• 결과는 Flair가 평가된 사전 기반 접근법 중에서 우르두어 감성 분석에 가장 강력한 모델임을 입증한다.
• 연구는 사전 훈련된 모델을 활용한 번역 기반 접근법이 우르두어와 같은 자원이 적은 언어에 대해 실현 가능한 결과를 낼 수 있음을 확인한다.