[論文レビュー] Matrix Completion on Graphs

Vassilis Kalofolias, Xavier Bresson+2 more|arXiv (Cornell University)|Aug 7, 2014

Sparse and Compressive Sensing Techniques参考文献 22被引用数 147

ひとこと要約

本稿では、行と列のグラフ構造に基づく類似性情報を低ランク行列回復フレームワークに統合する、新しい行列補完手法を提案する。ラプラシアン正則化を用いてユーザーグラフおよびアイテムグラフ上で滑らかさを強制することにより、特に観測が疎な状況下でも再構成精度が向上し、Movielens-10M などの実世界の推薦データセットにおいて、標準的な核ノルム最小化を上回る性能を発揮する。

ABSTRACT

The problem of finding the missing values of a matrix given a few of its entries, called matrix completion, has gathered a lot of attention in the recent years. Although the problem under the standard low rank assumption is NP-hard, Candès and Recht showed that it can be exactly relaxed if the number of observed entries is sufficiently large. In this work, we introduce a novel matrix completion model that makes use of proximity information about rows and columns by assuming they form communities. This assumption makes sense in several real-world problems like in recommender systems, where there are communities of people sharing preferences, while products form clusters that receive similar ratings. Our main goal is thus to find a low-rank solution that is structured by the proximities of rows and columns encoded by graphs. We borrow ideas from manifold learning to constrain our solution to be smooth on these graphs, in order to implicitly force row and column proximities. Our matrix recovery model is formulated as a convex non-smooth optimization problem, for which a well-posed iterative scheme is provided. We study and evaluate the proposed matrix completion on synthetic and real data, showing that the proposed structured low-rank recovery model outperforms the standard matrix completion model in many situations.

研究の動機と目的

• ユーザおよびアイテムの近接性グラフからの構造的情報を組み込むことで、低ランク行列補完を改善すること。
• 観測が疎で非一様にサンプリングされた状況下での、標準的手法の限界を是正すること。
• 協調フィルタリング（低ランク仮定）とコンテンツベースフィルタリング（グラフに基づく類似性）を統合した、単一の凸最適化フレームワークを構築すること。
• 多様体の滑らかさを活用することで、推薦システムにおける一般化性能を向上させる、堅牢でスケーラブルなアルゴリズムを開発すること。
• 合成データおよび実世界データ上で手法を検証し、観測数が少ない状況下での優位性を示すこと。

提案手法

• 本手法は、核ノルム最小化とグラフラプラシアン正則化を組み合わせた凸最適化問題として行列補完を定式化する。
• ディリクレエネルギー（ラプラシアンに基づく正則化）を用いて、ユーザーグラフおよびアイテムグラフ上で回復された行列の滑らかさを強制する。
• 交替方向増分乗数法（ADMM）を用いて最適化を解き、核ノルムの近接更新と線形方程式の反復解法を交互に実行する。
• ユーザおよびアイテム特徴に基づく指数カーネルを用いた類似度関数によりグラフを構築し、ε近傍法またはk-NNを用いた適応的近傍選択を実施する。
• 距離に基づいてグラフエッジの重みを決定する変換関数を用い、関連する類似度のみが正則化に寄与するようにする。
• パラメータ選定は、サイズが異なる訓練セット上で5分割交差検証を実施し、固定されたテストセット上で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ユーザおよびアイテム間のグラフ構造的類似性を組み込むことで、観測が疎な状況下でも行列補完の性能が向上するか？
• RQ2 提案手法のグラフ正則化付き低ランクモデルは、標準的な核ノルム最小化と比較して、再構成誤差においてどの程度優れているか？
• RQ3 グラフが不完全または非一様にサンプリングされた場合でも、モデルは頑健に保たれるか？
• RQ4 どの程度の観測スパarsityレベルでグラフ正則化が最も効果を発揮するか？
• RQ5 協調フィルタリングとコンテンツベースフィルタリングを統合した最適化フレームワークとして、本手法は効果的に機能するか？

主な発見

• Movielens-10M データ上では、核ノルムとグラフ正則化を併用した本手法（赤線）が、標準的核ノルム（青線）およびグラフのみ正則化（緑線）の両方を、観測レベルの大部分で上回る性能を示す。
• 1%の観測エントリにおいては、グラフのみ正則化が最も優れた性能を示し、データが極めて疎な状況では核ノルム項があまり寄与していない可能性を示唆する。
• 32%の観測エントリにおいては、標準的核ノルム手法が本手法と同等の性能を示し、データ密度が高い状況ではグラフ正則化の恩恵が薄れる傾向にあることを示す。
• 本手法の再構成誤差はMovielens-10Mで1.1スターレート RMS未満であり、ユーザーレーティング予測の高精度を示している。
• 非一様なサンプリングや不完全なグラフ構築に対しても、本手法は頑健で、最適でないグラフでも強力な性能を維持する。
• 観測数が少ない状況下では、標準的行列補完を著しく上回る性能を示しており、ユーザーレーティングが限られた実世界の推薦システムにおいて本手法の価値が明確に示されている。