[論文レビュー] Collaborative Filtering with Side Information: a Gaussian Process Perspective

Hyunjik Kim, Xiaoyu Lu+2 more|arXiv (Cornell University)|May 23, 2016

Gaussian Processes and Bayesian Inference参考文献 24被引用数 4

ひとこと要約

本稿では、協調フィルタリングにおけるユーザーおよびアイテムの類似性を補助情報によってモデル化するため、ガウス過程回帰と低ランクTuckerテンソル分解を統合した、新たなベイジアン非パrametricモデル、Tuckerガウス過程（TGP）を提案する。GP重みテンソルをTucker分解によって近似することで、TGPは非線形スケーリングを達成し、一般化性能が向上し、標準GPおよびフルランクモデルよりも、特に大規模データにおいて協調フィルタリングおよび分離可能な回帰タスクで優れた性能を示す。

ABSTRACT

We tackle the problem of collaborative filtering (CF) with side information, through the lens of Gaussian Process (GP) regression. Driven by the idea of using the kernel to explicitly model user-item similarities, we formulate the GP in a way that allows the incorporation of low-rank matrix factorisation, arriving at our model, the Tucker Gaussian Process (TGP). Consequently, TGP generalises classical Bayesian matrix factorisation models, and goes beyond them to give a natural and elegant method for incorporating side information, giving enhanced predictive performance for CF problems. Moreover we show that it is a novel model for regression, especially well-suited to grid-structured data and problems where the dependence on covariates is close to being separable.

研究の動機と目的

• 補助情報の協調フィルタリングへの統合を、ガウス過程モデルの柔軟性を保ちつつ実現すること。
• 従来の行列因子分解手法とガウス過程回帰の間のギャップを埋めること。
• 一般化されたベイジアン行列因子分解を拡張し、ユーザーおよびアイテムの補助情報を効果的に活用できるスケーラブルなGPベースのモデルを開発すること。
• 分離可能でグリッド構造を持つデータにおけるGP回帰において、Tucker分解を正則化子として用いることの有効性を検討すること。
• サブ線形計算スケーリングを実現することで、大規模な協調フィルタリングデータセットにおける効率的な推論を可能にすること。

提案手法

• 本モデルは、ガウス過程の重み空間の視点を用い、GPのサンプルを補助情報から導出された特徴ベクトルとランダム重みテンソルの積として表現する。
• 高次元の重みテンソルはTucker分解によって近似され、パラメータ数が削減され、スケーラブルな推論が可能になる。
• 得られるTuckerガウス過程（TGP）は、各モードに対応する分離可能な成分の和としてレーティング関数をモデル化する。
• スケーラブルなトレーニングのため、確率的勾配降下法が用いられ、数百万件のレーティングを含む大規模な協調フィルタリング問題への応用が可能になる。
• 任意のカーネルに対しては、カーネル関数を近似するためのランダム特徴マップ（例：RFF）が用いられ、グリッド構造を持つデータに対しては正確なコレスキー分解が用いられる。
• 推論はStanにおけるハミルトニアン・モンテカルロ（HMC）とNUTSを用い、収束はゲルマン＝ルービン統計量および有効サンプルサイズによって監視される。

実験結果

リサーチクエスチョン

• RQ1 低ランク構造を活用することで、ガウス過程モデルを大規模な協調フィルタリングデータセットに効果的にスケーリングできるか。
• RQ2 ユーザーおよびアイテムに関する補助情報を、GPフレームワークに自然に統合することで、予測性能が向上するか。
• RQ3 GP重みテンソルのTucker分解が、回帰タスクにおける一般化性能の向上に有効な正則化子として機能するか。
• RQ4 TGPは、分離可能でグリッド構造を持つ回帰問題において、標準GPおよびフルランクGPモデルを上回る性能を示すか。
• RQ5 TGPフレームワークは、補助情報に依存するカーネル関数を用いて、ユーザー・アイテムの類似性をモデル化できるか。

主な発見

• カリフォルニア住宅価格データセットにおいて、n=25,50,100,200の全特徴次元で、r=5のTGPは、フルランクGPおよび標準GPと比較して一貫して低いテストRMSEを達成した。
• n≥100の場合、r=10のTGPはテストRMSEにおいて標準GPを上回った。これは、正則化による一般化性能の向上を示している。
• TGPはGPよりも高い訓練RMSEを示しており、Tucker分解による正則化効果のおかげで過学習に弱い傾向にあることが示唆された。
• TGP予測の加法的成分は明確な空間的パターンを示し、異なる成分が補完的な領域（例：ベイエリア対ロサンゼルス）を学習していることが確認され、モデルが局所的構造を捉える能力を有していることが裏付けられた。
• 収束診断によると、300イテレーションではTGPの混合が完全に達成されていなかったため、より長いウォームアップ段階をとることでさらなる性能向上が得られる可能性がある。
• TGPはグリッド構造を持つ時空間データにおいて優れた性能を示し、分離可能な予測変数を有する問題における有効性が確認された。