[論文レビュー] Sentiment Classification of Food Reviews

Hua Feng, Ruixi Lin|arXiv (Cornell University)|Sep 7, 2016

Sentiment Analysis and Opinion Mining参考文献 2被引用数 5

ひとこと要約

本論文では、再帰的ニューラルネットワーク（RNN）とゲート付き再帰ユニット（GRU）を用いた食品レビューのセンチメント分類モデルを提案し、クラス不均衡なデータに対処するための慎重なチューニングを実施している。著者らは、データリサンプリングとクラスウェイトの適用によりベースラインモデルを上回る精度を達成し、1–5スケールの細分化されたセンチメント予測におけるディープラーニングの有効性を示している。

ABSTRACT

Sentiment analysis of reviews is a popular task in natural language processing. In this work, the goal is to predict the score of food reviews on a scale of 1 to 5 with two recurrent neural networks that are carefully tuned. As for baseline, we train a simple RNN for classification. Then we extend the baseline to GRU. In addition, we present two different methods to deal with highly skewed data, which is a common problem for reviews. Models are evaluated using accuracies.

研究の動機と目的

• 1–5スケールの食品レビューのセンチメントを予測するディープラーニングモデルの開発を目的とする。
• 現実世界のレビューデータセットに一般的に見られる極めて偏ったデータ分布の課題に対処することを目的とする。
• シンプルなRNNとGRUの両者がセンチメント分類タスクにおいてどのように性能を発揮するかを比較することを目的とする。
• データレベルの手法（リサンプリングとクラスウェイト）が、不均衡なデータに対するモデルの頑健性を向上させる有効性を評価することを目的とする。
• 今後の食品レビューのセンチメント分析分野における研究のためのベースラインと拡張モデルを提供することを目的とする。

提案手法

• 著者らは、レビューのテキストをシーケンスとしてモデル化するため、シンプルなRNNを実装し、それをGRUベースのアーキテクチャに拡張している。
• 1–5スケールにわたるレーティングの分布をバランスさせるために、データリサンプリング技術を適用している。
• トレーニング中に、代表度が低いレーティングクラスに高い重要度を与えるために、クラスウェイトを用いている。
• モデルは、食品レビューのデータセットを用いてトレーニングおよび評価され、主に精度を指標として用いている。
• ハイパーパrameterは、バリデーションセットでのパフォーマンス最適化を目的として慎重にチューニングされている。
• 最終的なモデルはテストデータ上で評価され、汎化性能を報告している。

実験結果

リサーチクエスチョン

• RQ1 GRUベースのモデルは、1–5スケールの食品レビューのセンチメント分類において、シンプルなRNNを上回る性能を示すか？
• RQ2 リサンプリングとクラスウェイトは、食品レビューのデータにおけるクラス不均衡に起因する性能低下を軽減するためにどれほど有効か？
• RQ3 モデルアーキテクチャとトレーニング技術の影響は、細分化されたセンチメント分類における精度にどのように現れるか？
• RQ4 提案手法は、シンプルなRNNベースラインと比較して予測性能においてどの程度優れているか？
• RQ5 ディープラーニングモデルは、食品レビューの離散的センチメントスコアを予測する際に、どの程度高い精度を達成できるか？

主な発見

• GRUベースのモデルは、分類精度の観点でシンプルなRNNベースラインを上回っている。
• データリサンプリングとクラスウェイトの適用により、マイノリティのレーティングクラスにおけるモデル性能が顕著に向上している。
• チューニングされたGRUモデルは、ベースラインのRNNよりも高い全体的な精度を達成しており、アーキテクチャの改善による利点が裏付けられている。
• 結果から、現実のレビューデータにおけるセンチメント分類で信頼性のあるパフォーマンスを達成するには、クラス不均衡の取り扱いが不可欠であることが確認された。
• 本研究は、シーケンスモデルを用いた食品レビューのセンチメント分析分野における今後の研究の強固なベースラインを確立している。
• 最終的なモデルは、ハイパーパrameterの慎重なチューニングとデータレベルの前処理を通じて、不均衡データに対して頑健で汎化性の高い性能を示している。