[論文レビュー] T-BERT -- Model for Sentiment Analysis of Micro-blogs Integrating Topic Model and BERT

Sarojadevi Palani, Prabhu Rajagopal+1 more|arXiv (Cornell University)|Jun 2, 2021

Sentiment Analysis and Opinion Mining参考文献 34被引用数 10

ひとこと要約

本稿では、BERTの文脈的埋め込みとLDAに基づくトピックモデリングを統合することで、生のマイクロブログデータにおけるセンチメント分析を向上させる、T-BERTという新規フレームワークを提案する。自己符号化器を用いて文脈的トピックを統合し、センチメント分類タスクで微調整することで、90.81%の精度を達成した。これは、トピックに配慮した文脈的表現が、教師なしで短いテキストのソーシャルメディアデータにおけるセンチメント分類性能を向上させることを示している。

ABSTRACT

Sentiment analysis (SA) has become an extensive research area in recent years impacting diverse fields including ecommerce, consumer business, and politics, driven by increasing adoption and usage of social media platforms. It is challenging to extract topics and sentiments from unsupervised short texts emerging in such contexts, as they may contain figurative words, strident data, and co-existence of many possible meanings for a single word or phrase, all contributing to obtaining incorrect topics. Most prior research is based on a specific theme/rhetoric/focused-content on a clean dataset. In the work reported here, the effectiveness of BERT(Bidirectional Encoder Representations from Transformers) in sentiment classification tasks from a raw live dataset taken from a popular microblogging platform is demonstrated. A novel T-BERT framework is proposed to show the enhanced performance obtainable by combining latent topics with contextual BERT embeddings. Numerical experiments were conducted on an ensemble with about 42000 datasets using NimbleBox.ai platform with a hardware configuration consisting of Nvidia Tesla K80(CUDA), 4 core CPU, 15GB RAM running on an isolated Google Cloud Platform instance. The empirical results show that the model improves in performance while adding topics to BERT and an accuracy rate of 90.81% on sentiment classification using BERT with the proposed approach.

研究の動機と目的

• 生の教師なしマイクロブログデータにおけるセンチメント分析を向上させるフレームワークを開発すること。これには、潜在的トピックモデリングと文脈的BERT埋め込みを統合する。
• BERTの文脈的理解とLDAのトピック発見を組み合わせることで、短いテキストのソーシャルメディアにおけるトピックの解釈可能性と意味的関連性を向上させること。
• トピック情報をBERT埋め込みと統合することで、センチメント分類精度に顕著な向上が得られることを示すこと。
• 自己符号化器を用いてBERTの文脈的文書埋め込みとLDAから得られるトピック表現を整列・統合する手法の有効性を評価すること。
• 市場調査、ブランド監視、ソーシャルネットワーク分析などの分野におけるリアルタイムのセンチメント分析に適用可能な柔軟で汎用性の高いアプローチを提供すること。

提案手法

• フレームワークは、生のマイクロブログテキストから文脈的文書埋め込みを生成するために BERT-base-uncased を使用する。
• 同じテキストコーパスから潜在的ディリクレ割り当て（LDA）を適用し、背後にあるテーマを特定するトピック分布を抽出する。
• ReLU活性化関数とL1正則化を用いて過学習を防ぐために、共有の潜在表現を学習するように自己符号化器を訓練し、BERT埋め込みとLDAトピックを統合する。
• 統合された表現を、最終層にドロップアウト率0.01の全結合層を備えた微調整済みBERT分類器に入力し、センチメント予測（ポジティブ、ネガティブ、ニュートラル）を行う。
• 一般化性能を向上させるために、Adam最適化手法を用い、ドロップアウト率0.01、L1正則化（10e-4）でハイパーパrameterを最適化する。
• モデル学習は、Tesla K80 GPUを搭載したGoogleクラウドプラットフォームのインスタンス上で実施し、バッチサイズ128、50エポックで訓練を行う。

実験結果

リサーチクエスチョン

• RQ1 BERTの文脈的埋め込みとLDAから得られるトピックを統合することで、生のマイクロブログデータにおけるセンチメント分類精度が向上するか？
• RQ2 トピックモデリングと文脈的埋め込みの統合が、発見されたトピックの整合性と解釈可能性に与える影響は何か？
• RQ3 T-BERTフレームワークにおいて、トピック整合性とセンチメント分類性能を最大化する最適なトピック数（k）は何か？
• RQ4 BERTとLDAの表現を整列・統合するために自己符号化器を用いることで、単体のLDAやBERTクラスタリングと比較して、より優れたトピックのクラスタリングと意味的グループ化が達成されるか？
• RQ5 T-BERTフレームワークは、実世界の教師なしマイクロブログデータセットにおいて、標準的なBERTモデルやLDAオンリーモデルをどの程度上回るか？

主な発見

• T-BERTモデルはテストセットで90.81%のセンチメント分類精度を達成し、ベースラインモデルを顕著に上回った。
• LDA+BERT統合モデルは0.56のコherenecesスコアを達成し、LDA（0.501）とBERTクラスタリング（0.521）を上回り、トピック品質の向上を示した。
• LDA+BERTモデルのシルエットスコアは0.46に達し、意味的に明確に分離されたトピッククラスタを示した。一方、BERTオンリークラスタリングでは0.044にとどまった。
• k=8トピックのワードクラウド可視化結果から、頻度が高く文脈的に関連する語が一括してグループ化されていることが確認され、トピックの解釈可能性が向上した。
• クラスごとの精度は、ポジティブが96%、ネガティブが78%、ニュートラルが69%であり、ポジティブセンチメント検出において優れた性能を示した。
• L1正則化とドロップアウト（0.01）を備えた自己符号化器は、過学習を効果的に低減した。トレーニング/バリデーション損失曲線は安定した収束を示した。