[論文レビュー] Review Helpfulness Assessment based on Convolutional Neural Network

Xianshan Qu, Xiaopeng Li+1 more|arXiv (Cornell University)|Aug 27, 2018

Sentiment Analysis and Opinion Mining参考文献 12被引用数 15

ひとこと要約

本論文は、レビュー本文と星評価情報を統合することで、オンライン製品レビューの役立つ度合いを自動的に評価する畳み込みニューラルネットワーク（CNN）モデルを提案する。星評価を初期入力として組み込むことで、テキストのみのモデルに比べて予測精度が2%向上し、ベンチマークデータセットにおいて、先行して発表された研究より4.24%の改善を達成し、最先端の結果を得た。

ABSTRACT

In this paper we describe the implementation of a convolutional neural network (CNN) used to assess online review helpfulness. To our knowledge, this is the first use of this architecture to address this problem. We explore the impact of two related factors impacting CNN performance: different word embedding initializations and different input review lengths. We also propose an approach to combining rating star information with review text to further improve prediction accuracy. We demonstrate that this can improve the overall accuracy by 2%. Finally, we evaluate the method on a benchmark dataset and show an improvement in accuracy relative to published results for traditional methods of 2.5% for a model trained using only review text and 4.24% for a model trained on a combination of rating star information and review text.

研究の動機と目的

• オンライン製品レビューの役立つ度合いを自動的に評価するためのディープラーニング手法の開発。
• 単語埋め込みの初期化方法と入力レビュー長が、CNNの役立つ度合い評価性能に与える影響の調査。
• レビュー本文と星評価情報の相乗効果的な統合による予測精度の向上の探求。
• 大規模および小規模なベンチマークデータセット上で、提案モデルの性能を評価し、発表済みの結果と比較する。

提案手法

• 畳み込み層とプーリング層を備えたCNNアーキテクチャを実装し、レビュー本文から局所的特徴を抽出する。
• 星評価情報をテキストと統合する2つの手法を提案：CM1（特徴抽出後に星を追加）とCM2（入力層で星を連結）。
• 単語埋め込みの初期化に、ランダム初期化または事前学習済みのGloVeベクトルを用い、モデル性能への影響を評価する。
• ハイパーパrameterのチューニングのため大規模データセットでモデルを学習し、その後、小規模なベンチマークデータセットで5分割交差検証によるファインチューニングを実施する。
• 精度と学習速度のバランスを考慮し、入力の長さを最初の300語に制限する。
• バイナリの役立つ度合い分類における正解率を用いてモデル性能を評価し、先行の最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 ランダム初期化と事前学習済みGloVeのどちらの単語埋め込み初期化が、レビューの役立つ度合い評価におけるCNN性能に与える影響が大きいのか？
• RQ2 精度を維持しつつ学習効率を向上させるために、最適な入力レビュー長は何か？
• RQ3 レビュー本文と星評価情報を統合することで、役立つ度合い予測の精度が向上するか？
• RQ4 星評価情報を早期に統合する（CM2）か、後から統合する（CM1）かのどちらの統合方法が、より高い性能を達成するか？
• RQ5 提案されたCNNモデルは、ベンチマークデータセットにおいて、先行の最先端手法と比較してどのように性能を発揮するか？

主な発見

• ランダム初期化の単語埋め込みが、事前学習済みGloVe埋め込みと同等の性能を示し、レビューデータでのファインチューニングが十分である可能性を示唆した。
• レビューを最初の300語に制限することで、完全なレビュー長を使用した場合と同等の精度を維持しながら、学習時間を4分の1に削減できた。
• 星評価情報を統合することで、テキストのみのモデルに比べてモデルの精度が2%向上した。
• CM2アプローチ（入力層で星評価を連結）は2.14%の精度向上を達成し、CM1（0.23%向上）を上回った。これは、早期統合により星評価情報の影響がより保持されることを示している。
• 小規模なベンチマークデータセットでは、テキストのみで74.4%の精度、テキストと評価を組み合わせて76.14%の精度を達成し、先行の最高記録（71.9%）を上回った。
• 全体として、本手法はテキストのみのモデルに比べ2.5%、発表済みの統合モデルに比べ4.24%の精度向上を達成し、最先端の性能を示した。