[論文レビュー] Yelp Review Rating Prediction: Machine Learning and Deep Learning Models

Zefang Liu|arXiv (Cornell University)|Dec 12, 2020

Topic Modeling参考文献 12被引用数 6

ひとこと要約

この論文は、レビューテキストからのYelpレストラン評価を予測するための機械学習モデルとトランスフォーマー基盤のディープラーニングモデルの比較研究を提案している。Yelpオープンデータセットからのバランスの取れたトレーニングデータセットを用い、従来のモデル（ロジスティック回帰、SVM、ランダムフォレスト、ナイーブベイズ）と最新のトランスフォーマー（BERT、DistilBERT、RoBERTa、XLNet）を評価した結果、XLNetがテストセットで70.44％の最高精度を記録し、最も優れた機械学習モデル（ロジスティック回帰で64％）を顕著に上回った。

ABSTRACT

We predict restaurant ratings from Yelp reviews based on Yelp Open Dataset. Data distribution is presented, and one balanced training dataset is built. Two vectorizers are experimented for feature engineering. Four machine learning models including Naive Bayes, Logistic Regression, Random Forest, and Linear Support Vector Machine are implemented. Four transformer-based models containing BERT, DistilBERT, RoBERTa, and XLNet are also applied. Accuracy, weighted F1 score, and confusion matrix are used for model evaluation. XLNet achieves 70% accuracy for 5-star classification compared with Logistic Regression with 64% accuracy.

研究の動機と目的

• レビューのテキストのみを用いて1〜5段階のYelpレストランレーティングを予測することを目的とし、多クラス分類問題として定式化する。
• Yelpオープンデータセットにおけるデータの不均衡を是正するため、各レーティングクラスに250,000件のサンプルを含むバランスの取れたトレーニングセットを構築する。
• レーティング予測における性能を評価するために、従来の機械学習モデルと最先端のトランスフォーマー基盤のモデルを評価する。
• モデルアーキテクチャ、キャメルケース対小文字トークン化、ハイパーパrameter設定の影響が予測精度およびF1スコアに与える影響を比較する。
• 実世界のレーティング予測システムへの実装における、モデル性能、推論速度、計算コストのトレードオフに関するインサイトを提供する。

提案手法

• 元のYelpオープンデータセットから125,000件のレビュー（1スターレーティングあたり250,000件）を再サンプリングすることで、クラスの不均衡を是正したバランスの取れたトレーニングデータセットを構築した。
• ユニグラム、バイグラム、小文字変換、ストップワード除去、最小文書頻度5を用いた2つのテキストベクトル化手法（カウントベクトライザ、TF-IDFベクトライザ）を適用した。
• エンジニアリングされた特徴量を用いて、4つの従来の機械学習モデル（ナイーブベイズ、ロジスティック回帰、ランダムフォレスト、線形SVM）を訓練した。
• 最大シーケンス長128を用い、小文字（uncased）およびキャメルケース（cased）のベースアーキテクチャを用いて、4つのトランスフォーマー基盤のモデル（BERT、DistilBERT、RoBERTa、XLNet）を微調整した。
• バッチサイズ（16）、学習率、トレーニングエポック数（1）などのハイパーパrameterを最適化し、バリデーションおよびテストセットでのモデル評価を実施した。
• 精度、加重F1スコア、混同行列を用いてモデルを評価し、クラスごとの性能と予測バイアスを分析した。

実験結果

リサーチクエスチョン

• RQ1 テキストからのYelpレビューレーティング予測において、従来の機械学習モデルとトランスフォーマー基盤のモデルの性能はどのように比較されるか？
• RQ2 データの不均衡がモデル性能に与える影響は何か？また、バランスの取れたトレーニングセットを構築するための再サンプリングはどの程度効果的か？
• RQ3 BERT、DistilBERT、RoBERTa、XLNetの中では、どのトランスフォーマー・アーキテクチャがYelpレーティング予測タスクで最高の精度とF1スコアを達成するか？
• RQ4 キャメルケース対小文字トークン化、およびモデルサイズ（ベース対大規模）が予測性能と計算効率に与える影響は何か？
• RQ5 混同行列は、特に4つ星と5つ星の近接するレーティングカテゴリを区別する能力において、モデルの強みと弱みをどの程度明らかにするか？

主な発見

• XLNetは、70.44％の最高テスト精度を記録し、同じテストセットで64％の精度を達成したロジスティック回帰を顕著に上回った。
• RoBERTaはBERTを上回る性能を示し、テスト精度69.61％、加重F1スコア0.6999を達成し、事前学習におけるより高いロバスト性を示した。
• DistilBERTはBERTと同等の精度（69.61％、小文字ベース）を達成したが、推論速度はほぼ2倍に向上し、リソース制限のある環境においても優れた選択肢となった。
• 混同行列の結果から、特にXLNetとRoBERTaのようなトランスフォーマー・モデルは対角成分の優位性が強く、2〜4つ星のレーティング間の区別能力が優れていた。
• キャメルケースモデルは一般的に小文字モデルを上回り、キャメルケースXLNetが最高の精度を記録した。これは、このタスクにおいてキャメルケースの感度が表現学習を向上させることを示唆している。
• 最高性能を発揮したモデル（XLNet）は加重F1スコア0.7044を達成し、最も優れた機械学習モデル（ロジスティック回帰の0.64）を顕著に上回った。これは、文脈を考慮した表現がレーティング予測において顕著な利点をもたらすことを示している。