[論文レビュー] Sentiment Analysis: Predicting Yelp Scores

Bhanu Prakash Reddy Guda, Mashrin Srivastava+1 more|arXiv (Cornell University)|Jan 20, 2022

Sentiment Analysis and Opinion Mining被引用数 4

ひとこと要約

本稿では、Yelpレビューテキストとメタ特徴量を統合して感情分析を予測する、新しいマルチタスク統合BERTモデルを提案する。ベースラインを上回る優れた性能を達成しており、アテンションメカニズムと感情スコアを用いた統合学習により、精度と解釈可能性が向上し、レビュー数が異なるレストラン間でバランスの取れた性能を維持している。

ABSTRACT

In this work, we predict the sentiment of restaurant reviews based on a subset of the Yelp Open Dataset. We utilize the meta features and text available in the dataset and evaluate several machine learning and state-of-the-art deep learning approaches for the prediction task. Through several qualitative experiments, we show the success of the deep models with attention mechanism in learning a balanced model for reviews across different restaurants. Finally, we propose a novel Multi-tasked joint BERT model that improves the overall classification performance.

研究の動機と目的

• テキスト的特徴量とメタ特徴量の両方を活用して、Yelpレストランレビューテキストの感情分析予測モデルを構築すること。
• 特にアテンションを備えたBERTを含む深層学習モデルが、多様なレストランレビューテキストにおける微細な感情をどのように捉えられるかを評価すること。
• 感情スコアを用いた統合学習が分類性能とモデルの汎化能力を向上させるかどうかを調査すること。
• アテンション可視化を用いてモデルの解釈可能性を分析し、暗黙の感情的キューに起因する失敗事例を特定すること。
• 低レビュー数または高レビュー数のレストラン間で性能が偏らないよう、バランスの取れた性能を確保すること。

提案手法

• モデルは、レビューテキストとメタ特徴量を入力として用いるマルチタスク統合BERTアーキテクチャを採用し、感情分類を実行する。
• テキスト内の感情予測に寄与する顕著な語を強調するため、アテンションメカニズムを活用し、解釈可能性を向上させる。
• 2つの目的を同時に最適化する統合学習を実施：星評価の予測（二値分類：1〜3星 vs. 4〜5星）とAFINNベースの感情スコアの予測。
• 過学習を防ぐため、バイナリの語出現特徴量を削除し、感情と相関の高い特徴量のみを選択する。
• データセットは70％を学習、15％を検証、15％をテストに分割し、レビュアー名や文字数など関係のない特徴量を前処理で除去する。
• 過学習を防ぐために早期停止を適用し、精度、損失曲線、混同行列を用いてモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 メタ特徴量とテキストの統合モデリングは、テキスト単体を使用する場合と比較して、感情分析の性能をどのように向上させるか？
• RQ2 5星分類ではなぜバイナリ感情分類よりも性能が悪くなるのか。この混乱の原因は何か？
• RQ3 アテンションメカニズムは感情関連語を効果的に強調できるか。これによりモデルの解釈可能性は向上するか？
• RQ4 レビュー数の多いレストランにバイアスを示すか。低レビュー数・高レビュー数のレストラン間で性能はどのようにバランスしているか？
• RQ5 暗黙の感情的キュー（例：調理の比喩）に依存するレビューではどのような失敗事例が生じるか。特に外部知識が必要なケースについて。

主な発見

• マルチタスク統合BERTモデルは、バイナリ分類および5星分類の両方において、すべてのベースラインを上回り、Yelpデータセットにおいて最先端の性能を達成した。
• アテンションメカニズムは「perfect」や「bad」などの感情に寄与する語を効果的に強調しており、モデルの解釈可能性と人間の判断との整合性を裏付けた。
• 高レビュー数のレストランに顕著なバイアスを示さず、全レストランで性能がバランスしていることが確認された。
• 5星分類の誤分類は主に隣接するクラス間（例：3星 vs. 4星）で発生しており、微細な感情差の区別が困難であることが示唆された。
• 暗黙の感情的キュー（例：調理の比喩）に依存するレビューでは失敗事例が発生し、外部知識が必要なケースが顕在化した。これにより、知識グラフの統合の必要性が示された。
• 訓練損失は安定的に減少し、検証損失は安定化した。早期停止により過学習が防止され、収束が適切に実現されたことが確認された。