[論文レビュー] Matrix Factorization with Side and Higher Order Information.

Vatsal Shah, Nikhil Rao+1 more|arXiv (Cornell University)|May 4, 2017

Sparse and Compressive Sensing Techniques参考文献 23被引用数 5

ひとこと要約

本稿では、グラフ上のランダムウォークを通じて暗黙の高次情報を利用することで、観測行列を非線形に変換し、複雑な相互作用を捉える、新しい行列因子分解手法を提案する。この手法は、複数のデータセットにおいて、標準的な行列因子分解および明示的な補助情報を利用する手法を上回る性能を発揮する。

ABSTRACT

The problem of predicting unobserved entries of a partially observed matrix has found wide applicability in several areas, such as recommender systems, computational biology, and computer vision. Many scalable methods with rigorous theoretical guarantees have been developed for algorithms where the matrix is factored into low-rank components, and embeddings are learned for the row and column variables. While there has been recent research on incorporating explicit side information in the low-rank matrix factorization setting, often implicit information can be gleaned from the data, via higher order interactions among variables. In this paper, we design a method to make use of this implicit information, via random walks on graphs. We show that the problem we intend to solve can be cast as factoring a nonlinear transform of the (partially) observed matrix and develop an efficient coordinate descent based algorithm for the same. Experiments on several datasets show that the method we propose outperforms vanilla matrix factorization, and also those methods that use explicitly available side information.

研究の動機と目的

• 2項関係を超えた複雑な暗黙の相互作用を捉えることに限界を示す標準的な行列因子分解の課題に対処すること。
• 明示的に提供された補助情報に依存せず、データから暗黙的に高次構造的情報を統合すること。
• 観測行列の非線形変換を要因分解するための効率的な最適化フレームワークを構築すること。
• 特に明示的な補助情報が限られる状況において、行列補完タスクの予測精度を向上させること。

提案手法

• 観測行列のエントリからグラフを構築し、ランダムウォークを実行することで、行と列の間の高次的関係を捉える。
• これらのランダムウォークからの遷移確率に基づき、観測行列に非線形変換を適用する。
• 変換された行列は、行と列の低ランク埋め込みを学習するために座標降下法を用いて要因分解される。
• 最適化プロセスでは、グラフから得られる非線形構造を保持しながら、行と列の埋め込みを交互に更新する。
• 明示的な補助特徴を必要とせず、暗黙の高次相互作用を符号化することで、モデルの表現力が向上する。

実験結果

リサーチクエスチョン

• RQ1 行列要因の間の暗黙の高次相互作用が、行列因子分解の性能を向上させ得るか？
• RQ2 データから導出されたグラフ上のランダムウォークが、効果的に高次構造的パターンを符号化できるか？
• RQ3 暗黙の構造的情報を組み込むことで、標準的な行列因子分解よりも高い予測精度が得られるか？
• RQ4 提示された手法は、明示的に提供された補助情報を利用するモデルと比べてどのように差をつけるか？

主な発見

• 提示された手法は、多数の実世界データセットにおいて、バニラ行列因子分解を上回る優れた予測精度を達成した。
• 明示的な補助情報に依存する手法よりも優れた性能を示し、暗黙の高次構造的特徴の価値を実証した。
• ランダムウォークに基づく非線形変換は、標準的な低ランク因子分解ではモデル化できない複雑な相互作用を効果的に捉えた。
• 座標降下法により効率的な最適化が保証され、大規模行列へのスケーラビリティが可能となった。