[논문 리뷰] A Simple and Efficient Ensemble Classifier Combining Multiple Neural Network Models on Social Media Datasets in Vietnamese

Huy Duc Huynh, Hang Thi-Thuy Do외 2명|arXiv (Cornell University)|2020. 09. 28.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 베트남어 소셜미디어 데이터셋에서 다중 분류를 위한 간단하면서도 효과적인 앙상블 분류기인 CNN, LSTM, BERT 모델을 조합하는 방법을 제안한다. 모델별 특성과 사전 처리 최적화를 활용하여, HSD-VLSP에서 F1 점수 86.96%, UIT-VSMEC에서 65.79%, UIT-VSFC에서 감성 분류 92.79%, 주제 분류 89.70%를 기록하며 기존 단일 모델 및 이전 연구를 능가하는 최신 기술 수준(SOTA)의 성능을 달성하였다.

ABSTRACT

Text classification is a popular topic of natural language processing, which has currently attracted numerous research efforts worldwide. The significant increase of data in social media requires the vast attention of researchers to analyze such data. There are various studies in this field in many languages but limited to the Vietnamese language. Therefore, this study aims to classify Vietnamese texts on social media from three different Vietnamese benchmark datasets. Advanced deep learning models are used and optimized in this study, including CNN, LSTM, and their variants. We also implement the BERT, which has never been applied to the datasets. Our experiments find a suitable model for classification tasks on each specific dataset. To take advantage of single models, we propose an ensemble model, combining the highest-performance models. Our single models reach positive results on each dataset. Moreover, our ensemble model achieves the best performance on all three datasets. We reach 86.96% of F1- score for the HSD-VLSP dataset, 65.79% of F1-score for the UIT-VSMEC dataset, 92.79% and 89.70% for sentiments and topics on the UIT-VSFC dataset, respectively. Therefore, our models achieve better performances as compared to previous studies on these datasets.

연구 동기 및 목표

• 소셜미디어에서 다중 분류를 위한 효과적인 딥러닝 모델이 부족한 문제를 해결하기 위해.
• 다중 레이블 및 불균형 레이블을 가진 세 베트남어 벤치마크 데이터셋에서 CNN, LSTM, BERT 모델의 성능을 평가하기 위해.
• 개별 모델의 강점을 조합하여 전체 분류 정확도를 향상시키는 앙상블 방법을 설계하고 구현하기 위해.
• 사전 처리 및 도메인 특화 워드 임베딩이 베트남어 소셜미디어 텍스트의 모델 성능에 미치는 영향을 조사하기 위해.
• 딥러닝을 활용한 베트남어 자연어 처리(NLP) 작업을 위한 향후 연구를 위한 기준을 설정하기 위해.

제안 방법

• 베트남어 소셜미디어 텍스트에서 사전 학습된 fastText 임베딩을 사용하여 CNN, LSTM 및 그 변형 모델을 훈련하고 최적화하였다.
• 세 베트남어 데이터셋에 대해 처음으로 BERT를 도입하여 다중 분류를 위해 미세조정(fine-tuning)을 수행하였다.
• 오타로 인한 OOV(Out-of-Vocabulary) 단어 문제를 해결하고 단어 표현을 향상시키기 위해 정규화된 단어 사전을 구현하였다.
• 모델 성능 평가의 정확성과 안정성을 확보하기 위해 오차 없는 교차검증(five-fold cross-validation)을 적용하였다.
• 최고 성능을 보인 단일 모델의 예측을 조합하여 앙상블 모델을 구성하였으며, 각 폴드에서의 성능에 기반한 레이블별 가중치를 적용하였다.
• 데이터셋 크기와 도메인 특성에 따라 모델 깊이 및 하이퍼파라미터를 최적화하였다.

실험 결과

연구 질문

• RQ1 CNN, LSTM, BERT 모델은 베트남어 소셜미디어 텍스트 분류 작업에서 개별적으로 어떻게 성능을 내는가?
• RQ2 다중 레이블 및 불균형 데이터를 가진 베트남어 데이터셋에서, 다양한 신경망 모델의 앙상블이 개별 모델을 뛰어넘는 분류 성능을 달성할 수 있는가?
• RQ3 사전 처리 및 도메인 특화 워드 임베딩은 베트남어 소셜미디어 텍스트의 모델 정확도에 어떤 영향을 미치는가?
• RQ4 어느 모델 아키텍처가 다양한 폴드와 데이터셋에서 가장 높은 안정성과 성능을 보이는가?
• RQ5 특히 작은 데이터셋이나 도메인 특화 데이터셋에서 BERT가 기존 모델보다 뛰어난 성능을 내는가?

주요 결과

• 앙상블 모델은 HSD-VLSP 데이터셋에서 혐오 발언 탐지 작업에서 F1 점수 86.96%를 기록하여 모든 단일 모델 및 이전 연구를 초월하였다.
• UIT-VSMEC 데이터셋에서 감정 인식 작업에서는 앙상블 모델이 F1 점수 65.79%를 달성하여 이전 방법을 능가하였다.
• UIT-VSFC 데이터셋에서는 감성 분류에서 F1 점수 92.79%, 주제 분류에서 89.70%를 기록하여 다중 레이블 작업에서 뛰어난 성능을 보였다.
• CNN 모델은 모든 폴드에서 가장 안정적인 성능을 보였으며, HSD-VLSP 데이터셋의 CLEAN 레이블에서 99.42%의 정확도를 달성하였다.
• LSTM 모델은 HATE 레이블에서 가장 높은 성능(85.10% 정확도)을 보였고, 앙상블는 이를 85.39%로 향상시켰다.
• 사전 처리는 HSD-VLSP와 같은 큰 데이터셋에서는 긍정적인 영향을 미쳤지만, UIT-VSMEC와 같은 작은 데이터셋에서는 성능 저하를 초래하여 데이터셋 크기에 따라 최적화 전략이 필요함을 시사하였다.