[論文レビュー] Low-Rank Matrix Completion with Adversarial Missing Entries.

Tselil Schramm, Benjamin Weitz|arXiv (Cornell University)|Jun 9, 2015

Tensor decomposition and applications参考文献 2被引用数 5

ひとこと要約

この論文は、敵対的な欠損パターン下での低ランク行列補完に対して正確な回復保証を確立し、核ノルム最小化が定数ランクのn×n行列において、各行・各列に最大Ω(n)個のエントリが欠損している場合でも行列を正確に回復できることを示している。さらに、混合積分布の学習を目的としたテンソル補完アルゴリズムを構築し、Ω(n)個の線形独立な中心を持つ場合に多項式時間で回復を達成し、一般の場合には準多項式時間で回復を達成している。

ABSTRACT

We show that, so long as the number of missing entries in any row or column is bounded by a function of the dimension, rank, and incoherence of the matrix, nuclear norm minimization recovers the target matrix exactly. The range for which this guarantee holds is surprisingly large--in an $n imes n$ matrix of constant rank, there may be as many as $\Omega(n)$ entries missing in every row and column. Conversely, if only constantly many entries are missing in any row or column, then we may recover matrices of rank $\Omega(n)$. We also use adversarial matrix completion to give an algorithm for completing an order-$m$ symmetric low-rank tensor from its multilinear entries in time roughly proportional to the number of tensor entries. We apply our tensor completion algorithm to the problem of learning mixtures of product distributions over the hypercube, obtaining new algorithmic results. If the centers of the product distribution are linearly independent, then we recover distributions with as many as $\Omega(n)$ centers in polynomial time and sample complexity. In the general case, we recover distributions with as many as $ ilde\Omega(n)$ centers in quasi-polynomial time, answering an open problem of Feldman et al. (SIAM J. Comp.) for the special case of distributions with incoherent bias vectors.

研究の動機と目的

• 欠損エントリが敵対的に分布している場合の低ランク行列補完の理論的回復保証を確立すること。
• 核ノルム最小化による正確な回復を可能にする、各行・各列あたりの欠損エントリの最大数を分析すること。
• 低ランクテンソル補完への行列補完技術の拡張を通じて、積分布の混合の学習を目的とすること。
• Feldmanらの開かれた問題を解決すること：非一様な積分布の学習を、非一様性条件のもとで多項式時間で達成できることを示すこと。

提案手法

• 論文は、コアな回復手法として核ノルム最小化を用い、有界な敵対的欠損エントリのもとで低ランク行列が正確に回復できることを示している。
• 行列の次元、ランク、非一様性パラメータに基づいて、各行・各列あたりの欠損エントリ数の上限を確立している。
• 行列の非一様性とランク制約を活用することで、核ノルム最小化問題が一意な低ランク解を持つことを保証している。
• テンソル補完のためのアプローチは、多次元構造と対称性を活用して問題を行列補完に還元している。
• テンソル補完アルゴリズムは、超立方体上での積分布の混合の学習に適用されている。
• 構造化されたサンプリングと低ランク仮定を用いることで、多項式時間または準多項式時間での効率的回復を達成している。

実験結果

リサーチクエスチョン

• RQ1 核ノルム最小化による低ランク行列の正確な回復を可能にする、敵対的に配置された欠損エントリの各行・各列あたりの最大数は何か？
• RQ2 多次元エントリのみが観測可能な場合に、テンソル補完を効率的に達成できるか。これは積分布の学習とどのように関係するか？
• RQ3 Ω(n)個の中心を持つ積分布の混合を、どのような条件下で多項式時間で学習できるか？
• RQ4 本手法は、Feldmanらの非一様な積分布の学習に関する開かれた問題を解決するか？

主な発見

• 定数ランクのn×n行列において、核ノルム最小化は、各行・各列にΩ(n)個のエントリが欠損している場合でも正確に行列を回復できる。
• 各行・各列に定数個のエントリしか欠損していない場合、ランクがΩ(n)の行列も正確に回復できる。
• テンソル補完アルゴリズムは、テンソルエントリ数にほぼ比例する時間で実行され、構造的分布の効率的学習を可能にしている。
• 線形独立な中心がΩ(n)個ある積分布の混合では、本手法は多項式時間および多項式スケーリングで分布を回復できる。
• 非一様なバイアスベクトルを有する一般の場合、本手法は準多項式時間で回復を達成し、Feldmanらのこの特殊ケースにおける開かれた問題を解決している。