[論文レビュー] Improving Explainable Recommendations with Synthetic Reviews

Sixun Ouyang, Aonghus Lawlor+2 more|arXiv (Cornell University)|Jul 18, 2018

Topic Modeling参考文献 24被引用数 8

ひとこと要約

本論文は、説明可能なレコメンデーションを向上させるために、文字レベルおよび語彙レベルのRNNベースのモデルを用いて合成された個人化されたレビューを生成する新しいフレームワークを提案する。アマゾンの書籍レビューを訓練データとして用い、DeepCoNNを用いて評価した結果、合成レビューは人間が書いたレビューに比べてRMSEが5.3%低く、推薦性能が優れており、感情スコアの一貫性も強いことが示された。

ABSTRACT

An important task for a recommender system to provide interpretable explanations for the user. This is important for the credibility of the system. Current interpretable recommender systems tend to focus on certain features known to be important to the user and offer their explanations in a structured form. It is well known that user generated reviews and feedback from reviewers have strong leverage over the users' decisions. On the other hand, recent text generation works have been shown to generate text of similar quality to human written text, and we aim to show that generated text can be successfully used to explain recommendations. In this paper, we propose a framework consisting of popular review-oriented generation models aiming to create personalised explanations for recommendations. The interpretations are generated at both character and word levels. We build a dataset containing reviewers' feedback from the Amazon books review dataset. Our cross-domain experiments are designed to bridge from natural language processing to the recommender system domain. Besides language model evaluation methods, we employ DeepCoNN, a novel review-oriented recommender system using a deep neural network, to evaluate the recommendation performance of generated reviews by root mean square error (RMSE). We demonstrate that the synthetic personalised reviews have better recommendation performance than human written reviews. To our knowledge, this presents the first machine-generated natural language explanations for rating prediction.

研究の動機と目的

• 既存の解釈可能なレコメンデーションシステムにおける、個人化された自然言語による説明の不足に対処すること。
• 機械生成レビューが人間が書いたレビューに比べて推薦精度を上回るかどうかを調査すること。
• 生成されたレビューの感情と実際のユーザー評価との一貫性を評価すること。
• 説明可能なAIにおけるレコメンデーションシステムにおいて、レビュー生成と評価予測を統合したフレームワークを検討すること。

提案手法

• ユーザーID、アイテムID、評価をもとに、文字レベルおよび語彙レベルのRNNベースの生成モデルを用いて、個人化された合成レビューを生成する。
• 長短期記憶（LSTM）ネットワークに注目メカニズムとグラフ畳み込みネットワーク（GCN）を組み合わせ、レビュー生成をモデル化し、ユーザー・アイテムの相互作用と整合性を高める。
• アマゾンレビューの有用性スコアを、レビュー品質の代理指標として用い、より一貫性があり有用な合成レビューの生成を促進する。
• NLP指標（BLEUや読みやすさ）を用いてテキスト品質を評価し、DeepCoNNモデルにおけるRMSEを用いて推薦性能を検証する。
• 生成レビューの感情極性と真の評価との線形関係を測るため、ピアソン相関を適用する。
• アマゾンの書籍レビューデータセットから、ユーザー・アイテムの相互作用および有用性スコアと一致するようにフィルタリングし、独自のデータセットを構築する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースのモデルによって生成された合成レビューは、人間が書いたレビューに比べて、評価予測性能を向上させることができるか？
• RQ2 生成された合成レビューの感情表現は、関連付けられた実際の評価とどれほど一貫しているか？
• RQ3 注目メカニズムとGCNアーキテクチャは、レコメンデーション文脈における生成レビューの質と関連性を向上させるか？
• RQ4 合成レビューは、ベースラインに比べて、評価推定における外れ値予測をどの程度低減させるか？

主な発見

• GCNベースのモデルが生成した合成レビューは、Test-pairベースラインに比べてRMSEで5.3%の改善を示し、優れた推薦性能を示した。
• GCNモデルは、生成レビューの感情と真の評価との間で79.50%という最高のピアソン相関を示し、ユーザー評価と強い整合性を示した。
• 文字レベルモデルは語彙レベルモデルを上回る感情の一貫性を示し、GCNベースの文字レベルモデルが最も高い相関と最小のRMSEを達成した。
• 合成レビュー生成フレームワークは、特に極端な評価（1点および5点）に対して外れ値予測を低減させ、全体の予測安定性を向上させた。
• BLEUスコアと読みやすさ指標から、生成されたレビューは流暢で理解可能であることが確認され、優れたテキスト生成品質を示した。
• 注目メカニズムは、コンテキストのみのモデルに比べて性能を向上させ、RMSEが低く、感情相関が高くなったことから、評価との整合性を高める有効性が確認された。