[論文レビュー] The Algebraic Combinatorial Approach for Low-Rank Matrix Completion

Franz J. Király, Louis Theran+2 more|arXiv (Cornell University)|Nov 17, 2012

Matrix Theory and Algorithms参考文献 43被引用数 51

ひとこと要約

本稿は、代数的組合せ論的枠組みを用いて低ランク行列補完を扱い、観測済みエントリ間の多項式関係を代数幾何学およびマトロイド理論のツールを用いて特定することで、1エントリの再構成問題を定式化する。観測位置の組み合わせ的パターンにのみ依存して、欠損エントリが補完可能か、一意に再構成可能か、または推定可能か（誤差境界つき）を特定する確率1のアルゴリズムを提供する。これは、低ランク領域における1エントリ補完のための、初めての正確で構造に配慮したアプローチを提供する。

ABSTRACT

We propose an algebraic combinatorial framework for the problem of completing partially observed low-rank matrices. We show that the intrinsic properties of the problem, including which entries can be reconstructed, and the degrees of freedom in the reconstruction, do not depend on the values of the observed entries, but only on their position. We associate combinatorial and algebraic objects, differentials and matroids, which are descriptors of the particular reconstruction task, to the set of observed entries, and apply them to obtain reconstruction bounds. We show how similar techniques can be used to obtain reconstruction bounds on general compressed sensing problems with algebraic compression constraints. Using the new theory, we develop several algorithms for low-rank matrix completion, which allow to determine which set of entries can be potentially reconstructed and which not, and how, and we present algorithms which apply algebraic combinatorial methods in order to reconstruct the missing entries.

研究の動機と目的

• 低ランク行列における1つの欠損エントリが一意に補完可能かどうかを特定する理論的かつアルゴリズム的枠組みを構築すること。
• 観測済み位置の組み合わせ的構造にのみ依存して、補完可能性と再構成の一意性を特徴づけること。観測値とは独立に。
• 多項式関係とマトロイド独立性を用いて、確率1の正確なアルゴリズムを提供し、補完可能なエントリおよび一意に補完可能なエントリを検証すること。
• 複数の多項式関係を活用することで、欠損エントリの推定誤差の分散を推定し、ノイズのある状況における不確実性の定量化を可能にすること。
• 行列補完における既知のサンプリング仮定を、グラフ論的およびマトロイド論的ツールを用いて、補完可能性の組み合わせ的相転移に関連付けること。

提案手法

• 代数幾何学における局所的からグローバルへの原理を用い、観測写像下でのランクr行列の一般的挙動を分析することで、行列補完問題を簡略化する。
• ランクr行列の多様体上に恒等的に消える多項式の理想を用い、観測済みエントリと目的の欠損エントリ (i, j) 間の代数的関係を同定する。
• 一般点における観測写像のヤコビ行列を用いて、独立集合が補完可能なエントリを決定する線形マトロイドを定義する。
• アルゴリズム1を提案し、マトロイド独立性を用いて補完可能な位置の集合を計算する。連続的サンプリングのもとで確率1の正しさを保証する。
• アルゴリズム5を用いて多項式を解き、欠損エントリを再構成する。また、アルゴリズム7を用いて複数の独立な関係を活用し、推定誤差の分散を予測する。
• 観測済み位置を二部グラフでモデル化し、エッジ連結性やrコアといったグラフ論的概念を適用することで、局所的補完可能性の必要十分条件を導出する。

実験結果

リサーチクエスチョン

• RQ1 観測済み位置の組み合わせ的条件が、特定の欠損エントリ (i, j) の一意的補完可能性に与える条件は何か？
• RQ2 実際に観測された値とは無関係に、与えられたエントリが確率1で補完可能かどうかをアルゴリズム的にどのように特定できるか？
• RQ3 欠損エントリ (i, j) の補完可能な組み合わせの数はいくつであり、効率的に計算する方法は何か？
• RQ4 多項式関係の構造を用いて、欠損エントリの推定誤差を事前にどのように定量化できるか？
• RQ5 行列補完における標準的なサンプリング仮定は、補完可能性の組み合わせ的相転移とどのように関係するか？

主な発見

• 連続的サンプリングのもとで確率1として、エントリ (i, j) の補完可能性は、観測済みエントリの位置とターゲット位置 (i, j) にのみ依存し、実際の値とは無関係である。
• 本稿は、観測の組み合わせ的構造に基づいて、すべての補完可能なエントリの集合を計算する確率1の正確なアルゴリズム（アルゴリズム1）を提供する。
• ランク1行列および構造化された観測パターンの下では、スパースな多項式関係を用いて「小行列を段階的に解く」ことで、効率的なアルゴリズム（アルゴリズム4および6）を提示する。
• 観測エントリと欠損エントリ (i, j) 間の複数の独立な多項式関係は、別個の推定器として機能でき、事前に推定誤差の分散を推定することが可能になる。
• MovieLens 100k データセットにおいて、ランクが84を超えると、補完可能なエントリの割合が急激に低下し、これはrコアが空になることに一致しており、補完可能性における相転移を確認する。
• アルゴリズム7による推定誤差の予測分散は、複数のアルゴリズム（例：OptSpace、Nuclear Norm）における実際の平均二乗誤差と強く相関しており、不確実性定量化フレームワークの妥当性を裏付ける。