[論文レビュー] Matrix Completion from Non-Uniformly Sampled Entries

Yuanyu Wan, Jinfeng Yi+1 more|arXiv (Cornell University)|Jun 27, 2018

Sparse and Compressive Sensing Techniques参考文献 17被引用数 3

ひとこと要約

本稿では、一部の列が完全に観測され、他の列が一様にサンプリングされた部分的に観測されたエントリからなる非一様なサンプリング条件下で、低ランク行列を回復する行列補完アルゴリズムを提案する。まず、完全に観測された列から列空間を回復し、その後、各部分的に観測された列をこの空間に射影することで再構築する。この手法により、O(rn ln n) 個のエントリで正確な回復が達成され、ノイズが存在する行列に対してもフロベニウスノルムの誤差バウンドが得られる。

ABSTRACT

In this paper, we consider matrix completion from non-uniformly sampled entries including fully observed and partially observed columns. Specifically, we assume that a small number of columns are randomly selected and fully observed, and each remaining column is partially observed with uniform sampling. To recover the unknown matrix, we first recover its column space from the fully observed columns. Then, for each partially observed column, we recover it by finding a vector which lies in the recovered column space and consists of the observed entries. When the unknown $m imes n$ matrix is low-rank, we show that our algorithm can exactly recover it from merely $Ω(rn\ln n)$ entries, where $r$ is the rank of the matrix. Furthermore, for a noisy low-rank matrix, our algorithm computes a low-rank approximation of the unknown matrix and enjoys an additive error bound measured by Frobenius norm. Experimental results on synthetic datasets verify our theoretical claims and demonstrate the effectiveness of our proposed algorithm.

研究の動機と目的

• エントリが非一様にサンプリングされる状況、特に一部の列が完全に観測され、他の列が部分的に観測される状況における行列補完を扱う。
• 従来の研究よりも一般的なサンプリング仮定に耐える回復アルゴリズムを開発する。特に、一部の列のみが完全に観測されるような状況を含む。
• 低ランク行列の正確な回復と、ノイズが存在する状況における低ランク近似について、理論的保証を確立する。
• 実験を通じて、本手法がNyströmなどの既存ベースラインよりも精度と耐性の面で優れていることを示す。

提案手法

• アルゴリズムはまず、完全に観測された列を用いて未知行列の列空間を回復する。
• 各部分的に観測された列に対して、観測されたエントリと一致する回復列空間内のベクトルを特定する。
• この手法は行列の非一様性（incoherence）条件と、部分的に観測された列内での一様なエントリサンプリングに依存する。
• 列空間の推定には特異値分解（SVD）を用い、欠損エントリの再構築には射影を用いる。
• ノイズが存在する場合、アルゴリズムは低ランク近似を計算し、誤差をフロベニウスノルムを用いてバウンドする。
• 理論的分析では、濃度不等式と和集合の補題を用いて、サンプル複雑度のバウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 一部の列が完全に観測され、他の列が一様にサンプリングされた部分的に観測される非一様なサンプリング条件下で、低ランク行列を正確に回復できるか？
• RQ2 この非一様なサンプリングモデル下で、正確な回復に必要な最小の観測エントリ数は何か？
• RQ3 ノイズが存在する場合、本アルゴリズムの性能はどのようであり、どのような誤差バウンドを確立できるか？
• RQ4 一様サンプリング下での従来の行列補完手法と比較して、本手法はより良いサンプル複雑度を達成できるか？
• RQ5 近似精度の観点から、Nyström や CUR+ といった既存手法と比較して、本手法はどのように差をつけるか？

主な発見

• 本アルゴリズムは、r が行列のランクで n が列数であるとき、O(rn ln n) 個の観測エントリで低ランク行列の正確な回復を達成する。
• サンプル複雑度は、一様サンプリング下での従来の行列補完のバウンド O(rn ln²n) よりわずかに良好である。
• ノイズが存在する低ランク行列に対しては、誤差バウンドがノイズレベルと行列の非一様性に比例するフロベニウスノルムバウンドを提供する。
• 実験結果から、同じ数のエントリを観測しても、本手法はNyström法よりも低ランク近似の精度が優れていることが示された。
• 部分的に観測された列あたりの観測エントリ数（s）は、r² ln r ではなく r ln r に線形に依存する。これは理論的バウンドを裏付ける。
• 完全に観測される列の最小数（d）も r ln r に線形に依存する。これは、サンプル複雑度が主に部分的に観測された列に支配されていることを示している。