[論文レビュー] Hybrid Collaborative Filtering with Autoencoders

Florian Strub, Jérémie Mary+1 more|arXiv (Cornell University)|Mar 2, 2016

Recommender Systems and Techniques参考文献 43被引用数 23

ひとこと要約

本論文では、スパースなレーティング行列から非線形の潜在表現を学習するために、ユーザーおよびアイテムのサイド情報（例：ユーザーの年齢、アイテムのジャンルやタグ）を深層オートエンコーダー・アーキテクチャに統合したハイブリッドな協調フィルタリングモデル、CFNを提案する。この手法は、MovieLensおよびDoubanデータセットにおいて最先端のベースラインを上回り、コールドスタートおよびウォームスタートの両状況で優れた性能を発揮する。また、大規模なレコメンデーションシステムに適したスケーラブルでGPU最適化された実装である。

ABSTRACT

Collaborative Filtering aims at exploiting the feedback of users to provide personalised recommendations. Such algorithms look for latent variables in a large sparse matrix of ratings. They can be enhanced by adding side information to tackle the well-known cold start problem. While Neu-ral Networks have tremendous success in image and speech recognition, they have received less attention in Collaborative Filtering. This is all the more surprising that Neural Networks are able to discover latent variables in large and heterogeneous datasets. In this paper, we introduce a Collaborative Filtering Neural network architecture aka CFN which computes a non-linear Matrix Factorization from sparse rating inputs and side information. We show experimentally on the MovieLens and Douban dataset that CFN outper-forms the state of the art and benefits from side information. We provide an implementation of the algorithm as a reusable plugin for Torch, a popular Neural Network framework.

研究の動機と目的

• 線形協調フィルタリング手法が複雑な非線形のユーザー・アイテム関係を捉えきれないという限界を克服する。
• ユーザーの属性やアイテム特徴といったサイド情報をニューラルネットワークアーキテクチャに直接統合することで、コールドスタート問題を克服する。
• スパースなレーティングと多様なサイド情報を統合的にモデル化できる、スケーラブルでエンド・ツー・エンドでトレーニング可能なニューラルネットワークを設計する。
• 深層オートエンコーダーが、従来の行列分解法やハイブリッドモデルを上回る推薦精度を発揮できることを示す。
• 再現性と産業的導入を可能にする、再利用可能でGPU最適化された実装を提供する。

提案手法

• スタックドノイズ除去オートエンコーダー（SDA）を用いて、ユーザーおよびアイテムのレーティングベクトルから非線形の低次元表現を学習する。
• サイド情報（例：ユーザーの年齢、ジャンル、タグ）はエンベッディングされ、レーティングベクトルと連結された後、エンコーダーに供給される。
• 入力のノイズ化（例：マスキングやノイズの付加）を伴う再構成損失を用いて、モデルのロバスト性を向上させる。
• エンコーダーはユーザーおよびアイテムの圧縮表現を学習し、デコーダーは元のレーティング行列を再構成する。
• ユーザーとアイテムの表現を別々にモデル化できる二本のブランチアーキテクチャ（V-CFN はユーザー用、U-CFN はアイテム用）を採用する。
• スパースな入力を選択的に密度化することで、メモリオーバーヘッドを最小限に抑えつつ、計算スループットを最大化する。

実験結果

リサーチクエスチョン

• RQ1 深層オートエンコーダー・アーキテクチャは、協調フィルタリングにおけるスパースなレーティング行列から非線形の潜在要因を効果的に学習できるか？
• RQ2 統合されたニューラルネットワークアーキテクチャにサイド情報を組み込むことで、特にコールドスタート状況において推薦性能がどのように向上するか？
• RQ3 提案されたCFNモデルは、標準的なベンチマークデータセットにおいて、既存の最先端の協調フィルタリング手法を上回るか？
• RQ4 ノイズ除去オートエンコーダーの使用が、推薦システムにおけるロバスト性および一般化性能をどの程度向上させるか？
• RQ5 レーティングデータのスパarsityにもかかわらず、GPU上で効率的にトレーニング可能か？

主な発見

• CFNは、MovieLensおよびDoubanデータセットの両方で最先端の協調フィルタリング手法を上回り、RMSEが低く抑えられ、予測精度が向上した。
• サイド情報を効果的に活用することで、ユーザーまたはアイテムのレーティングがスパースな状況でもコールドスタート問題が顕著に軽減された。
• MovieLens-20Mでは、194Mパラメータを持つCFNがGTX 980 GPUで34分間でトレーニング可能であり、ALS-WR（r=200）が1日を要するのに対し、優れた性能を発揮した。
• サイド情報の追加によるトレーニング時間およびメモリ使用量の増加は約5％に留まり、高い効率性とスケーラビリティを示した。
• ウォームスタートおよびコールドスタートの両設定で優れた性能を発揮し、データのスパarsityレベルにかかわらず高いロバスト性を示した。
• Torchで実装された本モデルは再利用可能であり、報告された結果を再現可能なハイパーパrameterを含む。