[論文レビュー] Predicting the Sentiment Polarity and Rating of Yelp Reviews

Andrew Elkouri|arXiv (Cornell University)|Dec 20, 2015

Sentiment Analysis and Opinion Mining参考文献 1被引用数 3

ひとこと要約

この論文では、tf-idf特徴量重み付けを用いたテキストのみを用いて、Yelpレビューサイズの感情極性（ポジティブ／ネガティブ）と5段階スコアを予測するテキストベース分類システムを提案する。Naive Bayes、サポートベクターマシン、ロジスティック回帰を用いた実験において、ロジスティック回帰が感情極性分類で92.90%、5段階スコア分類で63.92%の精度を達成し、他のモデルを上回り、限られた特徴量でも優れた性能を示した。

ABSTRACT

Online reviews of businesses have become increasingly important in recent years, as customers and even competitors use them to judge the quality of a business. Yelp is one of the most popular websites for users to write such reviews, and it would be useful for them to be able to predict the sentiment or even the star rating of a review. In this paper, we develop two classifiers to perform positive/negative classification and 5-star classification. We use Naive Bayes, Support Vector Machines, and Logistic Regression as models, and achieved the best accuracy with Logistic Regression: 92.90% for positive/negative classification, and 63.92% for 5-star classification. These results demonstrate the quality of the Logistic Regression model using only the text of the review, yet there is a promising opportunity for improvement with more data, more features, and perhaps different models.

研究の動機と目的

• テキストコンテンツのみを用いてYelpレビューサイズの感情極性（ポジティブまたはネガティブ）を予測すること。
• テキスト特徴量のみに基づいてYelpレビューサイズの5段階スコアを予測すること。
• 感情極性分類および5段階スコア分類の両タスクにおいて、Naive Bayes、サポートベクターマシン、ロジスティック回帰の性能を比較すること。
• データサイズおよび特徴量工学の分類精度への影響を評価すること。
• 追加の特徴量や高度なモデルを用いることで、5段階スコア予測の精度を向上させる可能性を同定すること。

提案手法

• scikit-learnのCountVectorizerを用いて、入力をクリーニングし、ストップワードを除去し、2文字以上のアルファヌメリック文字を有する単語にトークン化するテキスト前処理。
• バッグオブワーズ表現を用いた特徴量ベクトルの構築。各ユニークな単語を整数IDにマッピングし、カウントをスパース行列に格納。
• 語彙頻度と逆文書頻度に基づいて単語の重みを付与するtf-idf変換の適用。これにより、長いレビューや一般的な語のバイアスが軽減される。
• 感情極性分類：スコアが3以上なら「ポジティブ」、3未満なら「ネガティブ」とマッピング。
• 5段階スコア分類：元の星評価（1〜5）をターゲットラベルとして使用。
• 学習にデータの70%、テストに残りの30%を用い、scikit-learnの実装を用いてNaive Bayes、SVM、ロジスティック回帰のモデルを訓練。

実験結果

リサーチクエスチョン

• RQ1 テキストのみを用いた分類器は、Yelpレビューサイズの感情極性を正確に予測できるか？
• RQ2 テキストのみを用いた分類器は、Yelpレビューサイズの正確な5段階スコアをどれほど正確に予測できるか？
• RQ3 感情極性分類および5段階スコア分類の両タスクにおいて、Naive Bayes、SVM、ロジスティック回帰のうち、どの機械学習モデルが最も優れた性能を示すか？
• RQ4 学習データサイズを増加させることで、分類器の性能はどのように変化するか？
• RQ5 5段階スコア予測の精度を向上させるために、どのような追加の特徴量やモデルタイプが有効であるか？

主な発見

• ロジスティック回帰は感情極性分類で92.90%の最高精度を達成し、Naive Bayes（88.54%）およびSVM（88.54%）を顕著に上回った。
• 5段階スコア分類において、ロジスティック回帰は63.92%の精度を達成し、ガウス線形判別分析を用いたCarbonらの報告最大値46.09%を大幅に上回った。
• 感情極性分類において、Naive BayesはSVMを約4ポイント上回り、予想に反して優れた性能を示した。
• ロジスティック回帰の性能は、学習データ量の増加に伴い向上し、データサイズと正の相関関係があることが示された。
• テキストのみの特徴量でも優れた性能を示したが、5段階スコア分類は、評価行動の不一致やテキスト的根拠の不足といった要因により、依然として挑戦的であると示唆された。
• ニューラルネットワークなどの高度なモデルや、レビューボイスやビジネス属性などの追加特徴量を組み込むことで、今後の改善が可能である。