[論文レビュー] A New Approach to Collaborative Filtering: Operator Estimation with Spectral Regularization

Jacob Abernethy, Francis Bach+2 more|ArXiv.org|Feb 11, 2008

Indoor and Outdoor Localization Technologies参考文献 28被引用数 213

ひとこと要約

本論文は、ユーザからオブジェクト空間への線形作用素を学習するためのスペクトル正則化に基づく新しい共同フィルタリングフレームワークを提案する。これは、ユーザおよびオブジェクトの属性を組み込むことで、低ランク行列補完を一般化する。無限次元の特徴空間においても有限次元最適化を可能にする新しい表現定理を確立し、実験により属性が利用可能な場合に、従来の正則化に基づくCF手法よりも優れた予測性能を示している。

ABSTRACT

We present a general approach for collaborative filtering (CF) using spectral regularization to learn linear operators from "users" to the "objects" they rate. Recent low-rank type matrix completion approaches to CF are shown to be special cases. However, unlike existing regularization based CF methods, our approach can be used to also incorporate information such as attributes of the users or the objects -- a limitation of existing regularization based CF methods. We then provide novel representer theorems that we use to develop new estimation methods. We provide learning algorithms based on low-rank decompositions, and test them on a standard CF dataset. The experiments indicate the advantages of generalizing the existing regularization based CF methods to incorporate related information about users and objects. Finally, we show that certain multi-task learning methods can be also seen as special cases of our proposed approach.

研究の動機と目的

• 従来の行列補完をユーザおよびオブジェクトの属性を組み込むことで拡張する、共同フィルタリングの一般枠組みを構築すること。
• 既存の正則化に基づくCF手法の限界、特に人口統計的特徴やコンテンツベースの特徴といった補助情報を利用できない点を是正すること。
• 無限次元関数空間においても有限次元最適化が可能となる新しい表現定理を導出すること。
• 低ランク最適化、トレースノルム正則化、フロベニウスノルム正則化といった既存のCF手法を、一つのスペクトル正則化フレームワークに統合すること。
• 実験的に、属性の組み込みが標準的な共同フィルタリングデータセットにおける予測性能の向上に寄与することを示すこと。

提案手法

• 行列補完を直接行うのではなく、ユーザ空間からオブジェクト空間への線形作用素の推定として共同フィルタリングを定式化する。
• 作用素にスペクトル正則化を適用し、作用素の特異値に基づくペナルティ関数を用いて複雑さを制御する。
• 最適な作用素解が、無限次元空間であっても訓練データが張る有限次元部分空間に存在することを示す新しい表現定理を導出する。
• ユーザおよびオブジェクト特徴のグラム行列を用いたカーネル表現により、無限次元最適化問題を有限次元問題に還元する。
• カーネルPCAやコレスキー分解を用いてグラム行列を低ランク分解し、作用素をコンactパラメータ行列αの形で表現する。
• 有限次元パラメータ行列αの観点から、経験的リスクと正則化ペナルティを再定式化し、効率的な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 共同フィルタリングは、行列補完を越えて、ユーザおよびアイテムの補助的属性を統合できるか？
• RQ2 再生核ヒルバート空間におけるスペクトル正則化を用いた作用素推定に対して、どのような理論的保証を提供できるか？
• RQ3 新しい表現定理は、無限次元関数空間においても有限次元解を可能にする仕組みは何か？
• RQ4 既存の正則化に基づくCF手法（例：トレースノルム、低ランク）は、一つのスペクトル正則化フレームワークに統合可能か？
• RQ5 ユーザおよびアイテムの属性を組み込むことで、標準的なCF手法に比べて予測精度が顕著に向上するか？

主な発見

• 提案されたフレームワークは、低ランク行列補完およびトレースノルム正則化を、作用素へのスペクトル正則化の特殊ケースとして一般化する。
• 新しい表現定理により、最適解が有限次元部分空間に存在することが保証され、無限次元特徴空間においても計算が可能になる。
• 本手法は、ユーザおよびアイテムの属性の統合を可能とし、これは標準的な正則化に基づくCF手法では実現できない。
• 標準的な共同フィルタリングデータセットにおける実験により、属性が利用可能な場合に提案手法がより優れた予測性能を示す。
• フレームワークは、マルチタスク学習を特殊ケースとして含み、関連する学習問題への広範な適用可能性を示している。
• 理論的解析により、正則化作用素推定問題の解が、カーネルグラム行列から導かれる有限次元パラメータ行列の最適化に還元可能であることが確認された。