[論文レビュー] Yelp Dataset Challenge: Review Rating Prediction

Nabiha Asghar|arXiv (Cornell University)|May 17, 2016

Sentiment Analysis and Opinion Mining参考文献 10被引用数 35

ひとこと要約

この論文は、16種類のモデルを組み合わせることで、自由記述のレビューテキストからYelpのレビューレーティング（1〜5つ星）を予測するマルチクラス分類アプローチを提案している。4つの特徴抽出手法（unigrams, bigrams, trigrams, LSI）と4つの機械学習アルゴリズム（ロジスティック回帰、ナイーブベイズ、パーセプトロン、線形SVM）を組み合わせたものである。最も優れた性能を示したモデルは、上位10,000個のunigramおよびbigram特徴量を用いたロジスティック回帰であり、テストセットでF1スコア0.92を達成し、交差検証でも全モデルの中で最高を記録した。

ABSTRACT

Review websites, such as TripAdvisor and Yelp, allow users to post online reviews for various businesses, products and services, and have been recently shown to have a significant influence on consumer shopping behaviour. An online review typically consists of free-form text and a star rating out of 5. The problem of predicting a user's star rating for a product, given the user's text review for that product, is called Review Rating Prediction and has lately become a popular, albeit hard, problem in machine learning. In this paper, we treat Review Rating Prediction as a multi-class classification problem, and build sixteen different prediction models by combining four feature extraction methods, (i) unigrams, (ii) bigrams, (iii) trigrams and (iv) Latent Semantic Indexing, with four machine learning algorithms, (i) logistic regression, (ii) Naive Bayes classification, (iii) perceptrons, and (iv) linear Support Vector Classification. We analyse the performance of each of these sixteen models to come up with the best model for predicting the ratings from reviews. We use the dataset provided by Yelp for training and testing the models.

研究の動機と目的

• 自由記述のレビューテキストから星評価を予測するという課題に取り組むこと。これは感情分析およびレコメンデーションシステム分野の重要な問題である。
• レーティング予測のためのさまざまな特徴抽出法と機械学習アルゴリズムの組み合わせの有効性を評価すること。
• 実世界のYelpデータにおいて、正確で一般化可能なレビューレーティング予測が可能な最適なモデル構成を同定すること。
• 特に明示的なレーティングがないシステムにおける今後の研究のためのベースラインとフレームワークを提供すること。

提案手法

• レビューレーティング予測を5クラス分類問題として扱い、星評価をクラスラベルとする。
• テキストレビューテキストに4つの特徴抽出技術を適用する：unigrams, bigrams, trigrams, および潜在的意味インデックス（LSI）。
• 各特徴抽出法を4つの教師あり学習アルゴリズム（ロジスティック回帰、ナイーブベイズ、パーセプトロン、線形サポートベクタ分類）と組み合わせる。
• モデルの評価とハイパーパrameterチューニングにk分割交差検証（3分割）を用いる。
• 次元削減と計算効率の向上を図るため、各手法ごとに上位10,000個の特徴量を選択する。
• F1スコア、適合率、再現率、混同行列を用いてモデルを評価し、テストセットの性能を検証結果と比較する。

実験結果

リサーチクエスチョン

• RQ1 どの特徴抽出法と機械学習アルゴリズムの組み合わせが、Yelpレビューレーティングの予測精度を最も高めるか？
• RQ2 n-gramとLSIに基づく特徴表現は、テキストから感情やレーティング関連の信号をどの程度正しく捉えられるか？
• RQ3 交差検証結果と比較して、テストセットでのモデル性能がどの程度低下するか。これは過学習の兆候を示唆するか？
• RQ4 星評価（1〜5）の順序性を考慮した順序付き／順序ロジスティック回帰は、性能向上に寄与するか？
• RQ5 非線形モデルや高度な特徴工学（例：品詞タギング、トピックモデリング）は、このタスクにおいて線形モデルに比べて優れているか？

主な発見

• 上位10,000個のunigramおよびbigram特徴量を用いて学習したロジスティック回帰モデルが、テストセットで最高のF1スコア0.92を記録し、交差検証では0.95を達成した。
• モデルのテスト性能（F1: 0.92）は検証性能（F1: 0.95）よりもわずかに劣っており、やや過学習の兆候が示唆された。
• 線形モデル、特にロジスティック回帰と線形SVMが、全特徴セットにおいてナイーブベイズやパーセプトロンを上回った。
• LSIベースの特徴量はn-gram手法に比べて優れた性能を示さず、LSI特徴量を用いたモデルはF1スコアが低かった。
• 最も優れた性能を示したモデルは、妥当性が高く一般化可能で、各分割で一貫した性能を示しており、強力な予測能力を示した。
• 正則化、非線形モデル、高度な特徴工学（例：品詞タギング、トピックモデリング）の導入により、さらなる性能向上が期待できる。