[論文レビュー] Text Sentiment Analysis and Classification Based on Bidirectional Gated Recurrent Units (GRUs) Model

Wei Xu, Jianlong Chen+2 more|arXiv (Cornell University)|Apr 26, 2024

Text and Document Classification Technologies被引用数 4

ひとこと要約

本稿では、テキストセンチメント分析のための双方向ゲート付き再帰ユニット（Bi-GRU）モデルを提案する。包括的な前処理とシーケンスモデリングを採用し、6ラベルのセンチメントデータセット上で94.8%のテスト精度、95.9%の適合率、99.1%の再現率、97.4%のF1スコアを達成し、汎化性能と分類性能に優れていることが示された。

ABSTRACT

This paper explores the importance of text sentiment analysis and classification in the field of natural language processing, and proposes a new approach to sentiment analysis and classification based on the bidirectional gated recurrent units (GRUs) model. The study firstly analyses the word cloud model of the text with six sentiment labels, and then carries out data preprocessing, including the steps of removing special symbols, punctuation marks, numbers, stop words and non-alphabetic parts. Subsequently, the data set is divided into training set and test set, and through model training and testing, it is found that the accuracy of the validation set is increased from 85% to 93% with training, which is an increase of 8%; at the same time, the loss value of the validation set decreases from 0.7 to 0.1 and tends to be stable, and the model is gradually close to the actual value, which can effectively classify the text emotions. The confusion matrix shows that the accuracy of the model on the test set reaches 94.8%, the precision is 95.9%, the recall is 99.1%, and the F1 score is 97.4%, which proves that the model has good generalisation ability and classification effect. Overall, the study demonstrated an effective method for text sentiment analysis and classification with satisfactory results.

研究の動機と目的

• 自然言語処理におけるディープラーニングアーキテクチャを用いて、テキストセンチメント分類の精度を向上させること。
• 再帰ネットワークを用いて、テキスト内の順序的で文脈的なセンチメント依存関係を捉える課題に対処すること。
• 双方向GRUが長距離依存関係とセンチメント極性をモデリングする能力を評価すること。
• 厳密な検証とテストセット評価を通じて、モデルの汎化能力を示すこと。
• 実世界のNLPアプリケーションにおけるマルチラベルセンチメント分類の実用的で高パフォーマンスなソリューションを提供すること。

提案手法

• 提案されたモデルは、テキストシーケンスの前向きおよびバックワード方向の文脈的依存関係を捉えるために、双方向ゲート付き再帰ユニット（Bi-GRUs）を用いる。
• テキスト前処理には、特殊文字、標点符号、数字、ストップワード、アルファベット以外のトークンの削除が含まれ、入力データのクリーニングが行われる。
• データセットはトレーニングセットとテストセットに分割され、モデルの評価とデータ漏洩の防止が可能になる。
• モデルトレーニングは早期停止と検証モニタリングを伴い、エポックごとの損失と精度が収束することを示している。
• モデルは、テストセットにおける標準的なNLP指標（精度、適合率、再現率、F1スコア）を用いて評価される。
• 混同行列を用いてクラスごとのパフォーマンスを分析し、モデルの堅牢性を検証する。

実験結果

リサーチクエスチョン

• RQ1 双方向GRUモデルは、マルチラベル分類の文脈で、テキスト内の順序的なセンチメントパターンを効果的に捉えることができるか？
• RQ2 提案された前処理パイプラインは、センチメント分析タスクにおけるモデルパフォーマンスにどのように影響を与えるか？
• RQ3 ベースラインモデルと比較して、Bi-GRUモデルはどれほど精度と汎化性能を向上させるか？
• RQ4 適合率、再現率、F1スコアから見た個々のセンチメントクラスにおけるモデルのパフォーマンスはいかがなものか？
• RQ5 エポックごとの検証損失と精度の観点から、トレーニングプロセスはどれほど安定的で収束的か？

主な発見

• モデルの検証精度はトレーニングエポックに伴い85%から93%に上昇し、強力な学習能力を示している。
• 検証損失は0.7から0.1に減少し、安定化したことで、効果的な収束と過学習の低減が示唆された。
• テストセットでは、94.8%の精度、95.9%の適合率、99.1%の再現率、97.4%のF1スコアを達成し、高いパフォーマンスを示した。
• 高い再現率（99.1%）は、ポジティブセンチメントインスタンスの強力な検出を示しており、偽陰性の低減が図られた。
• F1スコアが97.4%であることは、適合率と再現率のバランスの取れた妥当なトレードオフであることを確認し、堅牢な分類を示している。
• 混同行列は、6つのセンチメントクラスすべてで一貫したパフォーマンスを示しており、モデルの汎化能力を裏付けている。