[論文レビュー] A Simple and Efficient Ensemble Classifier Combining Multiple Neural Network Models on Social Media Datasets in Vietnamese

Huy Duc Huynh, Hang Thi-Thuy Do+2 more|arXiv (Cornell University)|Sep 28, 2020

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、ベトナム語のソーシャルメディアデータセットにおけるマルチクラステキスト分類のため、CNN、LSTM、BERTモデルを組み合わせたシンプルでありながら効果的なアンサンブル分類器を提案する。モデル固有の強みを活かし、前処理を最適化することで、アンサンブルはHSD-VLSPで86.96%、UIT-VSMECで65.79%、UIT-VSFCで感情分類で92.79%／トピック分類で89.70%という最先端のF1スコアを達成し、単一モデルや先行研究を上回った。

ABSTRACT

Text classification is a popular topic of natural language processing, which has currently attracted numerous research efforts worldwide. The significant increase of data in social media requires the vast attention of researchers to analyze such data. There are various studies in this field in many languages but limited to the Vietnamese language. Therefore, this study aims to classify Vietnamese texts on social media from three different Vietnamese benchmark datasets. Advanced deep learning models are used and optimized in this study, including CNN, LSTM, and their variants. We also implement the BERT, which has never been applied to the datasets. Our experiments find a suitable model for classification tasks on each specific dataset. To take advantage of single models, we propose an ensemble model, combining the highest-performance models. Our single models reach positive results on each dataset. Moreover, our ensemble model achieves the best performance on all three datasets. We reach 86.96% of F1- score for the HSD-VLSP dataset, 65.79% of F1-score for the UIT-VSMEC dataset, 92.79% and 89.70% for sentiments and topics on the UIT-VSFC dataset, respectively. Therefore, our models achieve better performances as compared to previous studies on these datasets.

研究の動機と目的

• ソーシャルメディアにおけるマルチクラスのベトナム語テキスト分類のための効果的なディーブラーニングモデルの不足に対処すること。
• マルチラベルかつアンバランスなラベルを有する3つのベトナム語ベンチマークデータセットにおいて、CNN、LSTM、BERTモデルの性能を評価すること。
• 個々のモデルの強みを統合することで全体の分類精度を向上させるアンサンブル手法を設計・実装すること。
• 前処理およびドメイン特化型単語埋め込みが、ベトナム語のソーシャルメディアテキスト分類におけるモデル性能に与える影響を調査すること。
• ディープラーニングを用いたベトナム語NLPタスクの今後の研究のためのベースラインを確立すること。

提案手法

• ベトナム語のソーシャルメディアテキスト上で事前学習済みのfastText埋め込みを用いて、CNN、LSTMおよびその変種を訓練・最適化した。
• 3つのベトナム語データセットにおいて、BERTを初めて適用し、マルチクラス分類のためのファインチューニングを実施した。
• 誤字脱字によるOOV語の処理を改善するため、正規化された語彙辞書を実装した。
• モデル性能の評価とロバストネスの確保のため、5分割交差検証を適用した。
• Fold単位の性能に基づくラベル固有の重み付けを施したトップパフォーマー単一モデルの予測を統合することで、アンサンブルモデルを構築した。
• データセットのサイズおよびドメイン特性に基づき、モデルの深さとハイパーパrameterを最適化した。

実験結果

リサーチクエスチョン

• RQ1 CNN、LSTM、BERTモデルは、ベトナム語のソーシャルメディアテキスト分類タスクにおいて、個別にどの程度の性能を示すか？
• RQ2 複数のニューラルネットワークモデルをアンサンブル化することで、マルチラベルかつアンバランスなベトナム語データセットにおいて、個別モデルを上回る分類性能を達成できるか？
• RQ3 前処理およびドメイン特化型単語埋め込みが、ベトナム語のソーシャルメディアテキスト分類におけるモデル精度に与える影響は何か？
• RQ4 どのモデルアーキテクチャが、異なるFoldおよびデータセット間で最も高い安定性とパフォーマンスを示すか？
• RQ5 BERTは、特に小規模またはドメイン特化したデータセットにおいて、従来のモデルを上回る性能を示すか？

主な発見

• アンサンブルモデルは、HSD-VLSPデータセットにおける嫌がらせ検出タスクで86.96%のF1スコアを達成し、すべての単一モデルおよび先行研究を上回った。
• UIT-VSMECデータセットでは、感情認識タスクで65.79%のF1スコアを記録し、従来の手法を上回った。
• UIT-VSFCデータセットでは、感情分類で92.79%、トピック分類で89.70%のF1スコアを達成し、マルチラベルタスクにおいて優れた性能を示した。
• CNNモデルはすべてのFoldで最も安定したパフォーマンスを示し、HSD-VLSPデータセットのCLEANラベルで99.42%の精度を達成した。
• LSTMモデルはHATEラベルで最良の性能（85.10%の精度）を示し、アンサンブルによりそのスコアが85.39%に向上した。
• 前処理はHSD-VLSPのような大規模データセットでは肯定的な効果を示したが、UIT-VSMECのような小規模データセットでは性能を低下させた。これは、データセットサイズに応じた最適化が不可欠であることを示唆している。