[論文レビュー] Dynamic Matrix Factorization with Priors on Unknown Values

Robin Devooght, Nicolas Kourtellis+1 more|arXiv (Cornell University)|Jul 23, 2015

Recommender Systems and Techniques参考文献 22被引用数 7

ひとこと要約

本稿では、未知のレーティングが低値（ゼロに近い）である可能性が高いという事前分布を明示的にモデル化することで、推薦順序のパフォーマンスを向上させる動的行列分解フレームワークを提案する。データサイズに依存しない計算量の効率的なオンライン更新アルゴリズムを導入し、新規ユーザーおよびアイテムに対するリアルタイム推薦を可能にし、3つの大規模かつスパースなデータセットにおいて、静的および動的設定の両方で最先端の手法を上回る性能を発揮する。

ABSTRACT

Advanced and effective collaborative filtering methods based on explicit feedback assume that unknown ratings do not follow the same model as the observed ones (\emph{not missing at random}). In this work, we build on this assumption, and introduce a novel dynamic matrix factorization framework that allows to set an explicit prior on unknown values. When new ratings, users, or items enter the system, we can update the factorization in time independent of the size of data (number of users, items and ratings). Hence, we can quickly recommend items even to very recent users. We test our methods on three large datasets, including two very sparse ones, in static and dynamic conditions. In each case, we outrank state-of-the-art matrix factorization methods that do not use a prior on unknown ratings.

研究の動機と目的

• 標準の行列分解手法が欠損レーティングがランダムに欠損していると仮定するという制限を解決すること。これは、実世界の推薦システムではしばしば現実的ではない。
• 欠損レーティングをランダムに欠損しているのではなく、低値である可能性が高いとモデル化すること。その根拠は、ユーザーが利用可能なアイテムのわずか一部にしか関与しないという直感に基づく。
• 新しいレーティング、ユーザー、またはアイテムが到着した際に、1回の更新で定数時間の計算量を維持する、効率的なオンライン学習メカニズムを開発すること。
• レーティング予測誤差（例：RMSE）ではなく、順序評価指標（例：AUC、NDCG）の観点から推薦パフォーマンスを向上させることで、現代の評価基準に整合すること。
• 多様で大規模かつスパースな実世界のデータセットにおいて、静的および動的設定の両方で、未知値に対する明示的な事前分布の有効性を実証すること。

提案手法

• 二乗損失、絶対損失、一般化されたカルバック・ライブラー発散の3つの一般的な損失関数を拡張し、未知レーティングにゼロに近い値であるという明示的な事前分布を組み込む。
• 座標降下法を用いて、近似を伴わずに正確な勾配計算が可能な閉形式の更新ルールを導出することで、ユーザーおよびアイテムの潜在因子を更新する。
• 総ユーザー数、アイテム数、レーティング数に依存しない定数時間の計算量を達成するオンライン更新メカニズムを設計する。
• 欠損データを明示的に扱いながら、効率的に目的関数を最適化するため、ランダムにサンプリングされたユーザー・アイテムペアを用いたブロック座標降下法を採用する。
• 最適化に事前分布を統合する際、未知レーティングに対する大きな予測値をペナルティ化する正則化項を追加することで、モデルが低値に向かって正則化されるようにする。
• 効率的なソルバー（例：ALS-UV、Mult-NMF）を実装し、スケーラビリティと再現可能性を高めるために、GraphChi や Vowpal Wabbit といったオープンソースツールを統合する。

実験結果

リサーチクエスチョン

• RQ1 未知レーティングを低値（ゼロに近い）であると明示的にモデル化することで、標準の行列分解手法と比較して推薦順序のパフォーマンスが向上するか？
• RQ2 未知レーティングに事前分布を組み込むことで、スパースかつ動的環境における一般化性能とロバストネスが向上するか？
• RQ3 新規ユーザー、アイテム、またはレーティングが到着した際に、全データセットの再トレーニングなしに、リアルタイムでモデルを効率的に更新できるか？
• RQ4 大規模かつスパースなデータセットにおいて、提案手法の順序評価指標（例：AUC、NDCG）は、最先端の行列分解手法と比較してどのように異なるか？
• RQ5 事前分布の強さ（ハイパーパrameter ρ）が、動的環境下での収束速度と推薦精度に与える影響は何か？

主な発見

• 提案手法は、Movielens や Amazon 評価など、3つの大規模かつスパースなデータセットにおいて、AUC や NDCG といった順序評価指標において、常に最先端の行列分解手法を上回る性能を発揮する。
• 未知レーティングに事前分布を組み込むことで、特にスパースな環境下で顕著に性能が向上し、観測済みレーティングへの過学習を防ぐ有効な正則化として機能する。
• オンライン更新メカニズムは、1回の更新あたり定数時間の計算量を達成しており、データサイズに依存しない。これにより、非常に最近のユーザーに対しても低遅延の推薦が可能になる。
• アルゴリズムの実行時間は主に潜在特徴の数に依存し、正則化強度や未知レーティングの割合の変化に対しては弱い影響しか受けることがない。
• 事前分布の強さ（ρ）は収束速度に影響を与え、ρの値が大きいほど強いゼロへの正則化が働き、収束が速くなる。
• 本手法は再現性とスケーラビリティに優れており、オープンソースコードの提供に加え、GraphChi や Vowpal Wabbit といった高性能ツールとの統合を実現している。