[論文レビュー] Opinion Recommendation using Neural Memory Model

Zhongqing Wang, Yue Zhang|arXiv (Cornell University)|Feb 6, 2017

Sentiment Analysis and Opinion Mining参考文献 33被引用数 7

ひとこと要約

本論文は、Yelpデータ上で最先端のベースラインと比較して、レーティングの正確性とレビューの質の両面で優れた性能を達成する、意見推薦のためのニューラルメモリモデルを提案する。このモデルは、他のユーザーのレビューとターゲットユーザーの過去のレビューを活用して、ユーザー製品ペアに対してパーソナライズドレーティングとレビューを同時に予測する。深層メモリネットワークを用いてユーザー・プロダクト間の相互作用をモデル化し、マルチタスク学習を可能にすることで、性能が向上する。

ABSTRACT

We present opinion recommendation, a novel task of jointly predicting a custom review with a rating score that a certain user would give to a certain product or service, given existing reviews and rating scores to the product or service by other users, and the reviews that the user has given to other products and services. A characteristic of opinion recommendation is the reliance of multiple data sources for multi-task joint learning, which is the strength of neural models. We use a single neural network to model users and products, capturing their correlation and generating customised product representations using a deep memory network, from which customised ratings and reviews are constructed jointly. Results show that our opinion recommendation system gives ratings that are closer to real user ratings on Yelp.com data compared with Yelp's own ratings, and our methods give better results compared to several pipelines baselines using state-of-the-art sentiment rating and summarization systems.

研究の動機と目的

• Yelpのようなプラットフォームにおける一般的な製品レーティングや長大なレビュー一覧の限界を克服し、ユーザーに特化したカスタマイズされた意見を生成すること。
• レーティング予測とレビュー生成を別々のタスクとして扱う既存のシステムの欠点を是正し、最適でないパーソナライズ化を回避すること。
• テキストレビューとレーティングスコアの両方を統合して、ディープニューラルネットワークを用いてユーザーの好みと製品の特徴を同時にモデル化すること。
• レビューが少ないユーザーのデータスパarsity問題を緩和するため、コラボラティブフィルタリングを活用して類似ユーザー（ネイバー）のフィードバックを特定・統合すること。
• レーティングとレビュー生成の間でパラメータを共有するエンドツーエンドのマルチタスク学習により、予測性能を向上させること。

提案手法

• 各レビューの意味的コンテンツを密度ベクトル表現に変換するため、再帰的ニューラルネットワーク（RNN）を用いる。
• すべてのターゲット製品のレビューを統合して単一の製品表現を形成するため、ニューラルネットワークを用いて製品モデルを構築する。
• ユーザーの過去のレビューをニューラルネットワークでエンコードし、単一のベクトル表現に変換することで、ユーザー・モデルを構築する。
• コラボラティブフィルタリングを用いて類似ユーザー（ネイバー）を特定し、ニューラルネighborhoodモデルを用いてそれらのレビュー履歴を統合する。
• ユーザーと製品の表現間の相互作用をモデル化するため、複数のホップを持つ深層メモリネットワークを用い、レーティングとレビューの同時予測を可能にする。
• 既存のレビュー得点とユーザー固有の製品表現の影響をバランスさせるために、バイアスパラメータμを導入する。

実験結果

リサーチクエスチョン

• RQ1 パイプライン型アプローチと比較して、統合されたニューラルモデルが、パーソナライズドレーティングとレビューをより正確に予測できるか？
• RQ2 レビュー履歴が限られたユーザーのデータスパarsityを軽減するために、ネイバー・ユーザーの情報を利用することはどの程度有効か？
• RQ3 関連するユーザー・プロダクト相互作用を捉えるために、メモリネットワークにおける最適なメモリホップ数は何か？
• RQ4 既存のレビュー得点と学習されたユーザー固有の表現の間のバランスが、レーティング予測性能に与える影響はいかほどか？
• RQ5 マルチタスク学習により、単一タスクのベースラインと比較して、レーティングの正確性とレビュー品質の両方がどの程度向上するか？

主な発見

• 提案された統合モデル（Joint）は、レーティング誤差が1.023にまで低下し、Yelpの平均ベースライン（1.280）および他の推薦システム（例：RS-MF: 1.143）を著しく下回った（t検定によるp < 0.01）。
• レビュー生成性能（F1: 0.250）は、最先端の抽象的要約モデル（例：Sum-LSTM-Att: 0.196）を上回り、より優れたパーソナライズ化と関連性を示した。
• アブレーションスタディにより、ユーザー固有のレビューとネイバー・ユーザー情報の両方が性能向上に寄与することが確認された。特に、-user,-neighborバージョンでは誤差が1.342に低下したのに対し、ユーザーのデータのみでは1.254にとどまった。
• 最適なメモリホップ数は3と判明した。それ以上のホップ数は過学習を引き起こし、性能を低下させた。
• バイアスパラメータμ = 1に設定した場合が最良の性能を示し、既存のレビュー得点とユーザー固有の表現が、正確なレーティング予測において同等に重要であることを示した。
• メモリネットワークにおけるパラメータ共有によるマルチタスク学習は、レーティングとレビュー生成の両方の性能を顕著に向上させた。Jointモデルは、分離されたレーティングまたは生成モデルよりも優れた性能を発揮した。