[논문 리뷰] Sentiment Analysis on Bangla and Romanized Bangla Text (BRBT) using Deep Recurrent models

Ahmed H. Yousef, Mohammad Ruhul Amin외 2명|arXiv (Cornell University)|2016. 10. 02.

Sentiment Analysis and Opinion Mining참고 문헌 20인용 수 40

한 줄 요약

이 논문은 2억 명 이상이 사용하는 벵골어 및 로마자 벵골어 텍스트(BRBT)를 위한 대규모, 후처리 처리된, 다중 검증된 데이터셋을 제안하여 강력한 감성 분석을 가능하게 한다. 이는 이진 및 다중 분류 교차 엔트로피 손실 함수를 사용하여 딥 순환 모델, 특히 장기 단기 기억(LSTM) 네트워크를 평가한 것으로, 교차 검증과 전이 미사전 훈련을 통해 유망한 성능을 달성하였으며, 향후 벵골어 자연어 처리 연구를 위한 재사용 가능한 기준을 설정한다.

ABSTRACT

Sentiment Analysis (SA) is an action research area in the digital age. With rapid and constant growth of online social media sites and services, and the increasing amount of textual data such as - statuses, comments, reviews etc. available in them, application of automatic SA is on the rise. However, most of the research works on SA in natural language processing (NLP) are based on English language. Despite being the sixth most widely spoken language in the world, Bangla still does not have a large and standard dataset. Because of this, recent research works in Bangla have failed to produce results that can be both comparable to works done by others and reusable as stepping stones for future researchers to progress in this field. Therefore, we first tried to provide a textual dataset - that includes not just Bangla, but Romanized Bangla texts as well, is substantial, post-processed and multiple validated, ready to be used in SA experiments. We tested this dataset in Deep Recurrent model, specifically, Long Short Term Memory (LSTM), using two types of loss functions - binary crossentropy and categorical crossentropy, and also did some experimental pre-training by using data from one validation to pre-train the other and vice versa. Lastly, we documented the results along with some analysis on them, which were promising.

연구 동기 및 목표

• 2억 명 이상이 사용하는 언어인 벵골어에서 감성 분석을 위한 표준화되고 대규모의 데이터셋이 부족한 문제를 해결하기 위해.
• 원본 벵골어와 로마자 벵골어 텍스트를 모두 포함하는 후처리 처리된 다중 검증 데이터셋을 구축하여 자연어 처리 모델 훈련을 향상시키기 위해.
• 다양한 손실 함수를 사용하여 깊이 있는 순환 모델, 특히 LSTMs의 감성 분류 성능을 평가하기 위해.
• 한 검증 세트에서 사전 훈련한 모델을 다른 세트에서 성능 향상을 위해 활용하는 전이 학습을 탐색하여 모델 일반화 능력을 향상시키기 위해.
• 향후 연구를 위한 재사용 가능하고 비교 가능한 기준을 제공하기 위해.

제안 방법

• 저자들은 감성 분석을 위한 대규모, 후처리 처리된, 다중 검증된 데이터셋을 구성하였으며, 이는 벵골어 및 로마자 벵골어 텍스트를 포함한다.
• 시퀀스 모델링과 감성 분류를 위한 핵심 딥러닝 아키텍처로 장기 단기 기억(LSTM) 네트워크를 적용하였다.
• 모델 훈련 및 평가에 이진 교차 엔트로피와 다중 분류 교차 엔트로피의 두 가지 손실 함수를 사용하였다.
• 교차 검증과 실험적 사전 훈련을 구현하였으며, 한 폴드의 데이터를 사용해 사전 훈련한 모델을 다른 폴드에서 미세 조정하였다.
• 입력 일관성을 확보하기 위해 토큰화, 임베딩, 시퀀스 패딩을 포함한 표준 자연어 처리 파이프라인을 사용하여 모델을 훈련하고 평가하였다.
• 표준 분류 지표를 사용하여 성능을 측정하였으며, 다양한 데이터 분할 및 훈련 설정에서 결과를 분석하였다.

실험 결과

연구 질문

• RQ1 벵골어 및 로마자 벵골어 텍스트를 위한 대규모, 후처리 처리된, 다중 검증된 데이터셋은 감성 분석 모델의 신뢰성과 재사용 가능성을 향상시킬 수 있는가?
• RQ2 이진 교차 엔트로피와 다중 분류 교차 엔트로피의 서로 다른 손실 함수는 BRBT에서 LSTM 기반 감성 분류기 성능에 어떤 영향을 미치는가?
• RQ3 벵골어 감성 분석의 맥락에서, 한 검증 폴드에서 사전 훈련한 모델이 다른 폴드에서의 성능 향상에 얼마나 기여하는가?
• RQ4 BRBT 데이터셋의 서로 다른 폴드 간 전이 학습은 모델 일반화 능력과 정확도 향상에 기여하는가?
• RQ5 딥 순환 모델을 사용할 때, 벵골어와 로마자 벵골어의 감성 분류 성능은 어떻게 비교되는가?

주요 결과

• 제안된 BRBT 데이터셋은 대규모이며, 후처리 처리되고 다중 검증되어 신뢰할 수 있는 감성 분석 실험에 적합하다.
• 이진 교차 엔트로피와 다중 분류 교차 엔트로피 손실 함수를 사용하여 훈련된 LSTM 모델은 BRBT 데이터셋에서 유망한 성능을 달성하였다.
• 한 검증 폴드에서 사전 훈련하고 다른 폴드에서 미세 조정함으로써 모델 정확도와 일반화 능력에 측정 가능한 향상이 있었다.
• 결과는 깊이 있는 순환 모델을 사용할 경우 로마자 벵골어 텍스트도 효과적으로 감성 분석에 활용될 수 있음을 보여주었다.
• 본 연구는 향후 연구를 위한 재사용 가능한 기준을 설정하였으며, 벵골어 자연어 처리 분야에서 재현 가능하고 비교 가능한 결과를 가능하게 하였다.