[論文レビュー] Algebraic Variety Models for High-Rank Matrix Completion

Greg Ongie, Rebecca Willett+2 more|arXiv (Cornell University)|Mar 28, 2017

Tensor decomposition and applications被引用数 32

ひとこと要約

本論文は、高ランクデータを代数的多様体上に位置するとモデル化することで、多項式特徴の持ち上げを用いて低ランク表現を可能にする、新しい行列補完フレームワークを提案する。カーネルトリックを用いた凸または非凸最適化アプローチにより、実世界の高ランクデータセット（モーショングラフや部分空間クラスタリングタスクを含む）において、標準的な低ランク行列補完および部分空間クラスタリング手法を上回る最先端の性能を達成する。

ABSTRACT

We consider a generalization of low-rank matrix completion to the case where the data belongs to an algebraic variety, i.e. each data point is a solution to a system of polynomial equations. In this case the original matrix is possibly high-rank, but it becomes low-rank after mapping each column to a higher dimensional space of monomial features. Many well-studied extensions of linear models, including affine subspaces and their union, can be described by a variety model. In addition, varieties can be used to model a richer class of nonlinear quadratic and higher degree curves and surfaces. We study the sampling requirements for matrix completion under a variety model with a focus on a union of affine subspaces. We also propose an efficient matrix completion algorithm that minimizes a convex or non-convex surrogate of the rank of the matrix of monomial features. Our algorithm uses the well-known "kernel trick" to avoid working directly with the high-dimensional monomial matrix. We show the proposed algorithm is able to recover synthetically generated data up to the predicted sampling complexity bounds. The proposed algorithm also outperforms standard low rank matrix completion and subspace clustering techniques in experiments with real data.

研究の動機と目的

• 高ランクデータを代数的多様体上に位置するとモデル化することで、低ランク行列補完を高ランクデータに一般化すること。
• データがアフィン部分空間の集合または他の代数的多様体上にある場合の行列補完に必要なサンプリング複雑度を特定すること。
• 高次元特徴を明示的に計算せずに、持ち上げられた単項式特徴空間における低ランク構造を活用する効率的な行列補完アルゴリズムを開発すること。
• 提案手法が、実世界の高ランクデータセットにおいて、標準的な低ランク行列補完および部分空間クラスタリング手法を上回ることを実証すること。
• 特に部分空間の集合に対して、回復に必要なサンプル数に関する理論的バウンディングを提供すること。

提案手法

• 各データポイントを次数が最大 $ d $ の単項式の高次元空間に写像し、元の高ランク行列を、データが代数的多様体上にある場合に低ランクとなる持ち上げられた行列 $ ext{rank}( ext{rank}(m{ ilde{X}})) $ に変換する。
• 行列補完問題を、観測されたエントリを満たす条件下で持ち上げられた行列 $ ext{rank}(m{ ilde{X}}) $ のランクを最小化する問題として定式化し、ランク最小化の凸または非凸な代替関数を用いる。
• 反復加重最小二乗法（IRLS）アルゴリズムを用いて最適化問題を解き、カーネルトリックにより高次元の単項式特徴を明示的に計算することを回避する。
• 多項式カーネルを用いてカーネルトリックを適用し、持ち上げられた空間内の内積を暗黙的に計算することで、明示的な特徴写像なしに効率的な計算を可能にする。
• 合成データと実世界のデータセット（ホプキンス155モーショングラフデータセットおよびCMU Mocapモーションキャプチャデータ）を用いて手法を評価する。
• 標準的な低ランク行列補完（LRMC）、非凸低ランク最適化（LRMC-NCVX）、および補完を伴う・伴わない部分空間クラスタリング（SSC）と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 代数的多様体上（特にアフィン部分空間の集合上）に位置する列を持つ行列を回復するのに必要なサンプリング複雑度はどの程度か？
• RQ2 持ち上げられた行列 $ ext{rank}(m{ ilde{X}}) $ のランクは、単項式特徴の次数 $ d $ と潜在的な多様体構造とどのように関係するか？
• RQ3 凸または非凸最適化フレームワークは、持ち上げられた多項式特徴空間では低ランクであるが、元の空間では高ランクの行列を効果的に回復できるか？
• RQ4 提案手法は、欠損データに対する回復精度と耐性の観点から、標準的な低ランク行列補完および部分空間クラスタリング手法と比較してどのように異なるか？
• RQ5 多項式次数 $ d $ が、特に欠損データ率が変化する条件下での補完性能に与える影響は何か？

主な発見

• 提案された VMC アルゴリズムは、理論的解析で予測されたサンプリング複雑度の境界まで合成データを正確に回復でき、理論的分析の妥当性を裏付けた。
• 次元 $ r $ の $ k $ 個のアフィン部分空間の集合に対して、各列あたり $ O(rk^{1/d}) $ の測定値が必要であり、各部分空間に $ O(r^d) $ 個の列が利用可能な場合、中程度の $ d $ に対してサンプリング要件が顕著に削減されることを示した。
• $ d = \text{log}~k $ の場合、各列あたりの測定値は $ O(r) $ にまで減少し、高次元設定でも効率的な回復が可能になる。
• ホプキンス155データセットでは、VMC+SSCは低欠損率では LRMC+SSC と同等または低いクラスタリング誤差を達成し、高欠損率では SSC-EWZF より顕著に優れた性能を示した。
• CMU Mocap データセットでは、$ d=2 $ および $ d=3 $ の VMC が LRMC や LRMC-NCVX を上回り、特に高欠損率条件下で $ d=2 $ が低い誤差を達成した。
• 多項式カーネルを用いた IRLS に基づくアルゴリズムは、実世界の高ランクデータセットで最先端の性能を達成し、耐性とスケーラビリティの両面で優れた性能を示した。