[論文レビュー] Attention-based Mixture Density Recurrent Networks for History-based Recommendation

Tian Wang, Kyunghyun Cho|arXiv (Cornell University)|Sep 22, 2017

Recommender Systems and Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、履歴に基づく推薦のためのマルチモーダルなユーザー行動分布をモデル化する注目メカニズムを備えた混合密度再帰的ニューラルネットワークを提案する。連続的アイテム埋め込みと注目メカニズムを用いて混合成分を逐次生成することで、MovieLens-20MおよびRecSys15データセットにおいてベースラインと比較して精度、再現率、nDCGが向上する。

ABSTRACT

The goal of personalized history-based recommendation is to automatically output a distribution over all the items given a sequence of previous purchases of a user. In this work, we present a novel approach that uses a recurrent network for summarizing the history of purchases, continuous vectors representing items for scalability, and a novel attention-based recurrent mixture density network, which outputs each component in a mixture sequentially, for modelling a multi-modal conditional distribution. We evaluate the proposed approach on two publicly available datasets, MovieLens-20M and RecSys15. The experiments show that the proposed approach, which explicitly models the multi-modal nature of the predictive distribution, is able to improve the performance over various baselines in terms of precision, recall and nDCG.

研究の動機と目的

• 時間経過に伴う動的でマルチモーダルなユーザーの好みを捉えることができない行列分解や分類ベースのモデルの限界を解消する。
• アイテム予測を離散的分類ではなく連続的ベクトル分布としてモデル化することで、大規模な語彙における推薦のスケーラビリティの問題を克服する。
• ユーザー行動のマルチモーダルな性質（ユーザーが複数の明確な好みを持つこと）を明示的にモデル化するため、混合密度ネットワークを用いる。
• 混合成分生成中に履歴アイテムを動的に重み付けする注目メカニズムを活用することで、推薦性能を向上させる。
• アイテム表現学習を主な推薦モデルから分離させることで、新しいアイテムに対する一般化性能とスケーラビリティを向上させる。

提案手法

• ユーザーの順序付き購入履歴を固定長のコンテキストベクトルにエンコードするため、再帰的ニューラルネットワーク（RNN）を用いる。
• Word2Vecなどによって事前学習された連続的アイテム埋め込みを用い、低次元でスケーラブルな空間にアイテムを表現する。
• 注目メカニズムを備えた再帰的混合密度ネットワーク（RMDN）を実装し、混合成分を逐次生成することで、将来のアイテムの条件付き分布をモデル化する。
• 各混合成分はユーザー行動における明確なモードを表し、注目重みは各成分ごとに関連する履歴アイテムに動的に注目する。
• 観測された将来のアイテムの尤度を最大化するように、密度推定損失を用いてモデルをエンドツーエンドで訓練する。
• 出力層がアイテム埋め込み上の多次元ガウス分布の混合のパラメータ（平均、分散、混合重み）を予測する混合密度ネットワーク（MDN）の変種を用いる。

実験結果

リサーチクエスチョン

• RQ1 将来的なアイテムの条件付き分布をマルチモーダルな混合としてモデル化することで、単一モードまたは分類ベースのアプローチと比較して推薦性能が向上するか？
• RQ2 混合成分生成に注目メカニズムを用いることで、モデルの多様なユーザーの好みを捉える能力にどのような影響を与えるか？
• RQ3 混合成分の数を増やすことで、複雑なマルチモーダルなユーザー行動を表現する能力がどの程度向上するか？
• RQ4 アイテム埋め込み学習を主な推薦モデルから分離させることで、スケーラビリティと新規アイテムへの一般化性能が向上するか？
• RQ5 実世界の推薦データセットにおいて、提案手法は最先端のベースラインと比較して精度、再現率、nDCGの観点でどの程度優れているか？

主な発見

• 提案モデルは、MovieLens-20MおよびRecSys15の両方のデータセットにおいて、すべてのベースラインを顕著に上回る精度、再現率、nDCGを達成した。
• MovieLens-20Mでは、RNN-ATT-RNN-8バージョンがnDCG@20で0.2140を達成し、次に良いベースライン（RNN-ATT-RNN-4）をnDCGで5%以上上回った。
• RecSys15では、RNN-ATT-RNN-8モデルがnDCG@20で0.2140を達成し、RNN-ATT-RNN-4ベースラインに対して10%の相対的改善を示した。
• 混合成分の数を増やすことで性能が一貫して向上し、ユーザー行動が本質的にマルチモーダルであり、複数成分の混合によってより良く捉えられることを確認した。
• 注目メカニズムにより、各混合成分を生成する際、関連する履歴アイテムに注目できるようになり、多様なユーザーの好みの表現が向上した。
• RNN-ATT-RNN-8は、RecSys15においてR@20が35.78%を達成し、最高の値を記録した。これは、長テール推薦能力が優れていることを示している。