[論文レビュー] Collaborative Deep Learning for Recommender Systems

Hao Wang, Naiyan Wang+1 more|arXiv (Cornell University)|Sep 10, 2014

Recommender Systems and Techniques被引用数 24

ひとこと要約

本稿では、レーティングのスパarsity問題に対処するため、アイテムのコンテンツに関する深層表現学習とユーザーレーティングに関する協調フィルタリングを統合的に実行する階層ベイジアンモデル、協調的深層学習（CDL）を提案する。スタックドノイズ除去オートエンコーダ（SDAE）と確率的行列分解（PMF）を統合することで、3つの実世界データセットにおいて最先端の性能を達成し、特にスパースデータ条件下では既存手法（CTRなど）を顕著に上回る。

ABSTRACT

Collaborative filtering (CF) is a successful approach commonly used by many recommender systems. Conventional CF-based methods use the ratings given to items by users as the sole source of information for learning to make recommendation. However, the ratings are often very sparse in many applications, causing CF-based methods to degrade significantly in their recommendation performance. To address this sparsity problem, auxiliary information such as item content information may be utilized. Collaborative topic regression (CTR) is an appealing recent method taking this approach which tightly couples the two components that learn from two different sources of information. Nevertheless, the latent representation learned by CTR may not be very effective when the auxiliary information is very sparse. To address this problem, we generalize recent advances in deep learning from i.i.d. input to non-i.i.d. (CF-based) input and propose in this paper a hierarchical Bayesian model called collaborative deep learning (CDL), which jointly performs deep representation learning for the content information and collaborative filtering for the ratings (feedback) matrix. Extensive experiments on three real-world datasets from different domains show that CDL can significantly advance the state of the art.

研究の動機と目的

• レーティング行列のスパarsityに起因する協調フィルタリング（CF）手法の性能低下を解消すること。
• 手動による特徴工学やスパースな補助コンテンツに適応できない、緩く結合されたアプローチに起因する既存のハイブリッド手法の限界を克服すること。
• アイテムのコンテンツからの深層表現とユーザーレーティングからの協調信号を統合的に学習する、密に結合されたエンドツーエンドのフレームワークを開発すること。
• 確率的協調フレームワーク内での深層学習の表現力を利用することで、新規または低頻度レーティングのアイテムに対しても、推薦の精度とロバスト性を向上させること。

提案手法

• アイテムのコンテンツから深層表現を学ぶスタックドノイズ除去オートエンコーダ（SDAE）と、ユーザ-アイテムレーティングをモデル化する確率的行列分解（PMF）を組み合わせた階層ベイジアンモデルを定式化する。
• 共同尤度関数を用いてコンテンツベースとレーティングベースの学習を統合し、表現と協調信号の間で双方向の相互作用を可能にする。
• 最大事後確率（MAP）推定を用いてモデルパラメータを学習し、ベイジアン推論のためのサンプリングベースのアルゴリズムを導出することで、バックプロパゲーションを一般化されたベイジアンフレームワークに拡張する。
• テキストコンテンツからの階層的・非線形特徴を学ぶために、複数層の深層ニューラルネットワークアーキテクチャを採用し、bag-of-wordsモデルを凌駕する意味的理解を向上させる。
• スモール・グラディエント・ディセント（SGD）を用いたGPU加速最適化により、大規模データセット（Netflixを含む）へのスケーリングを実現する。
• 将来的な拡張のため、特に語順や文脈をモデル化可能な代替の深層学習モデル（例：CNN）の柔軟な統合をサポートする。

実験結果

リサーチクエスチョン

• RQ1 アイテムのコンテンツからの深層表現学習は、レーティングのスパarsity条件下でも協調フィルタリングの性能を向上させ得るか？
• RQ2 コンテンツ信号とレーティング信号の共同学習は、独立的または緩く結合された手法と比較して、推薦精度においてどのように差をつけるか？
• RQ3 階層ベイジアンモデルは、深層ニューラルネットワークと協調フィルタリングを効果的に統合し、一般化性能を向上させ得るか？
• RQ4 少数のレーティングしか得られていない状況で、ユーザーの嗜好の変化に対してモデルはどの程度感受性を示すか？
• RQ5 本稿で提案するフレームワークは、Netflixのような大規模実世界データセットにも効率的にスケーリング可能か？

主な発見

• CDLは3つの実世界データセットにおいて、CTRや他のハイブリッド手法を顕著に上回り、特にスパースなレーティング条件下でも最先端の推薦精度を達成した。
• MovieLensデータセットでは、ユーザーが4件のレーティングを持つ状況でCDLは精度50%を達成したが、CTRは20%にとどまり、ユーザー嗜好の変化に伴う適応性の優位性が示された。
• ユーザーIが2件のレーティングしか持たない状況では、CDLは30%の精度を達成したのに対し、CTRも30%であったが、CDLはユーザー嗜好の変化に伴っても高い性能を維持した。一方、CTRは適応できず性能が低下した。
• Netflixデータセットでは、CDLは約100エポックで満足できる性能に到達し、1エポックあたりわずか60秒で処理可能であり、大規模データへの強力なスケーラビリティを示した。
• モデルのベイジアン定式化により、原則的かつ一貫した不確実性の取り扱いが可能であり、追加のサイド情報の統合も可能となり、より高いロバスト性が得られた。
• CDLはテキストコンテンツから意味的で文脈に即した表現を学習できるため、CTRが『流れ』と『形成』のような語の共起を誤解するのとは異なり、より正確で解釈可能な推薦が可能となった。