[論文レビュー] Probabilistic low-rank matrix completion on finite alphabets

Jean Lafond, Olga Klopp+2 more|arXiv (Cornell University)|Dec 8, 2014

Sparse and Compressive Sensing Techniques参考文献 20被引用数 21

ひとこと要約

本稿では、カテゴリカル（有限アルファベット）なエントリ、例えばレーティングやラベルのようなデータに対して、低ランク行列補完のための核ノルム正則化付き最尤推定器を提案する。一般のサンプリングスキーム下でKullback-Leibler発散に対する理論的バインディングを確立し、各反復でフルまたは部分SVDを実行しない効率的なリフトド座標降下法を導入することで、従来の手法に比べてより速い収束速度を達成している。ただし、行列エントリの絶対値に上界があることのみを仮定している。

ABSTRACT

The task of reconstructing a matrix given a sample of observedentries is known as the matrix completion problem. It arises ina wide range of problems, including recommender systems, collaborativefiltering, dimensionality reduction, image processing, quantum physics or multi-class classificationto name a few. Most works have focused on recovering an unknown real-valued low-rankmatrix from randomly sub-sampling its entries.Here, we investigate the case where the observations take a finite number of values, corresponding for examples to ratings in recommender systems or labels in multi-class classification.We also consider a general sampling scheme (not necessarily uniform) over the matrix entries.The performance of a nuclear-norm penalized estimator is analyzed theoretically.More precisely, we derive bounds for the Kullback-Leibler divergence between the true and estimated distributions.In practice, we have also proposed an efficient algorithm based on lifted coordinate gradient descent in order to tacklepotentially high dimensional settings.

研究の動機と目的

• レコメンデーションシステムのレーティングやアンケートの回答のように、有限集合に値をとるカテゴリカルデータの行列補完を扱う。
• 従来の研究が均一なサンプリングを仮定するのとは異なり、一般で非一様なサンプリングスキームにおいても有効な統計的に妥当な推定器を開発する。
• 未知行列に対する最小限の仮定のもとで、真の確率分布と推定確率分布のKullback-Leibler発散に対する理論的バインディングを提供する。
• 各反復でフルSVDや部分SVDを繰り返し計算しない効率的な最適化アルゴリズムを設計し、高次元設定へのスケーラビリティを実現する。
• 1ビットや多項分布型行列補完手法の既存手法を改善し、核ノルムや最大ノルムのバインディングを必要とせず、確率行列のエントリの絶対値の上界のみを仮定する。

提案手法

• 低ランク構造を強制するために、核ノルムで正則化された最尤推定器のラグランジュ形式を用いる。
• 各反復でSVDを繰り返し計算しない効率的な凸最適化問題の解法として、リフトド座標降下法を採用する。
• 行列エントリを多項分布または二項分布に従うカテゴリカル確率変数としてモデル化し、確率行列の低ランク構造でパrameter化する。
• 一般のサンプリング測度下で、真の確率分布と推定確率分布のKullback-Leibler発散に対する理論的バインディングを導出する。
• 可積分性を除き、サンプリング分布に制約を課さず、非一様かつ構造的サンプリングを許容する。
• ランクや核ノルムのバインディングではなく、真の確率行列のエントリの絶対値の最大値に対する上界のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 有限アルファベットのデータ、例えばレーティングやラベルのようなものに対して、理論的保証を持つ低ランク行列補完法を開発できるか？
• RQ2 一般で非一様なサンプリングスキーム下で、核ノルム正則化付き最尤推定器の性能はどのように振る舞うか？
• RQ3 Kullback-Leibler発散の観点から、真の確率行列の推定における最適収束速度は何か？
• RQ4 各反復でフルSVDを実行しない効率的な最適化アルゴリズムを設計できるか？ これにより高次元行列へのスケーラビリティが達成できるか？
• RQ5 合成データおよび実世界のデータにおいて、予測誤差の観点から、本手法はガウスモデルやロジスティックモデルと比べてどのように性能を発揮するか？

主な発見

• 提案手法は、1ビット行列補完設定において、[8] や [6] で示された既存手法よりもKullback-Leibler発散の収束速度が速い。
• 均一サンプリングを仮定しない一般のサンプリング分布下でも理論的バインディングを導出でき、従来の研究に比べて顕著な改善を示す。
• 真の確率行列のエントリの絶対値の最大値に対する上界のみを仮定しており、核ノルムや最大ノルムのバインディングは必要としない。
• 合成実験では、ロジスティックモデルがガウスモデルを上回り、特にp=5の多項分布ケースでは、複数モードのレーティング分布を捉える能力のおかげで顕著な優位性を示す。
• MovieLens 100kデータセットでは、ガウスモデルはラベルエンコーディング（0/1対比 -1/1）に極めて敏感である一方、ロジスティックモデルはその影響に頑健であり、カテゴリカルデータへの優位性を示している。
• リフトド座標降下法により効率的な最適化が可能となり、各ステップでの計算コストの高いSVD操作を回避し、高次元設定へのスケーラビリティを実現している。