[論文レビュー] TransRev: Modeling Reviews as Translations from Users to Items

Alberto García-Durán, Roberto González+3 more|arXiv (Cornell University)|Jan 30, 2018

Sentiment Analysis and Opinion Mining参考文献 27被引用数 19

ひとこと要約

TransRevは、共通のベクトル空間内でのユーザーエンベッディングからアイテムエンベッディングへの翻訳として製品レビューをモデル化する共同学習フレームワークを提案する。推論時におけるレビューのエンベッディングをアイテムとユーザーエンベッディングの差分として近似することにより、正確なスコア予測とレビュー検索を実現し、19個のベンチマークデータセットのうち15個で最先端の手法を上回る性能を発揮する。

ABSTRACT

The text of a review expresses the sentiment a customer has towards a particular product. This is exploited in sentiment analysis where machine learning models are used to predict the review score from the text of the review. Furthermore, the products costumers have purchased in the past are indicative of the products they will purchase in the future. This is what recommender systems exploit by learning models from purchase information to predict the items a customer might be interested in. We propose TransRev, an approach to the product recommendation problem that integrates ideas from recommender systems, sentiment analysis, and multi-relational learning into a joint learning objective. TransRev learns vector representations for users, items, and reviews. The embedding of a review is learned such that (a) it performs well as input feature of a regression model for sentiment prediction; and (b) it always translates the reviewer embedding to the embedding of the reviewed items. This allows TransRev to approximate a review embedding at test time as the difference of the embedding of each item and the user embedding. The approximated review embedding is then used with the regression model to predict the review score for each item. TransRev outperforms state of the art recommender systems on a large number of benchmark data sets. Moreover, it is able to retrieve, for each user and item, the review text from the training set whose embedding is most similar to the approximated review embedding.

研究の動機と目的

• 製品推薦におけるレコメンデーションシステム、センチメント分析、マルチリレーショナル学習を統合した統一フレームワークの構築。
• スコア予測とレビュー検索の両方をサポートする、ユーザーベクトル、アイテムベクトル、レビューの共同エンベッディングの学習。
• テスト時における未観測のユーザ-アイテムペアのレビュー点数を、テスト時におけるレビューのエンベッディングの近似によって正確に予測すること。
• 学習済みエンベッディングに基づいて類似したトレーニングレビューを検索することで、レビュー作成のハードルを下げる。

提案手法

• TransRevは、共同目的関数を用いて、共通の潜在空間内でユーザーベクトル、アイテムベクトル、レビューのエンベッディングを学習する。
• モデルは、ユーザーベクトルとレビューのエンベッディングの和が、レビュー対象のアイテムのエンベッディングに近づくように制約を課す（すなわち、レビューを翻訳としてモデル化：user + review ≈ item）。
• レビューのエンベッディングは、スコア予測のための下流のセンチメント回帰モデルで高い性能を発揮するように学習される。
• テスト時において、レビューのエンベッディングは、アイテムとユーザーベクトルの差分として近似される：ĥ_rev = h_item - h_user。
• 近似されたレビューのエンベッディングが回帰モデルの入力として使用され、レビューのスコアが予測される。
• レビュー検索は、近似されたレビューのエンベッディングとすべてのトレーニングレビューのエンベッディングとの間のユークリッド距離を計算することで実行される。

実験結果

リサーチクエスチョン

• RQ1 統一されたエンベッディング空間は、ユーザーフレーム、アイテム特性、製品レビューのセンチメントを同時にモデル化できるか？
• RQ2 ユーザーベクトルとアイテムベクトルの差分によるレビューのエンベッディングの近似は、既存の手法と比較してスコア予測性能を向上させられるか？
• RQ3 学習されたレビューのエンベッディングは、ユーザーのレビュー提案に役立つ類似したトレーニングレビューを効果的に検索できるか？
• RQ4 学習された単語エンベッディングは、レビューのスコアと関連してセンチメント極性をどれほど正確に捉えているか？

主な発見

• TransRevは、19個のベンチマークデータセットのうち15個において、スコア予測精度の面で最先端のレコメンデーションシステムを上回った。
• t-SNE可視化の結果、単語のクラスタが否定的、中立的、肯定的センチメントに対応しており、モデルがセンチメントと相関する単語エンベッディングを効果的に学習していることが示された。
• 近似されたレビューのエンベッディングは、意味的に類似したトレーニングレビューの検索に有効であり、検索されたレビューはしばしばターゲットレビューの全体的なセンチメントと一致した。
• その成功にもかかわらず、モデルは否定（例：'not good'）やアスペクト固有の言語表現といったセンチメントの微細なニュアンスを捉えるのに苦労しており、語順やアスペクトに配慮した表現のモデル化に限界があることが示された。