[論文レビュー] Detection thresholds in very sparse matrix completion

Charles Bordenave, Simon Coste+1 more|arXiv (Cornell University)|May 12, 2020

Random Matrices and Applications被引用数 6

ひとこと要約

本稿では、ランダム化されたエントリマスキングを活用することで、極めてスパースな行列補完において、検出閾値を著しく向上させる非対称行列分解手法を提案する。$ A_1(A - A_1)^* $ および $ (A - A_1)^*A_1 $ の非エルミート固有スペクトルを分析することにより、非一様な特異ベクトルを有する低ランク行列の統計的に最適な回復が可能となり、各行あたり $ d \asymp 1 $ 個のエントリしか観測されない状況でも実現可能であり、従来の情報理論的限界 $ d \asymp \log n $ をくつがえす。

ABSTRACT

Let $A$ be a rectangular matrix of size $m imes n$ and $A_1$ be the random matrix where each entry of $A$ is multiplied by an independent $\{0,1\}$-Bernoulli random variable with parameter $1/2$. This paper is about when, how and why the non-Hermitian eigen-spectra of the randomly induced asymmetric matrices $A_1 (A - A_1)^*$ and $(A-A_1)^*A_1$ captures more of the relevant information about the principal component structure of $A$ than via its SVD or the eigen-spectra of $A A^*$ and $A^* A$, respectively. Hint: the asymmetry inducing randomness breaks the echo-chamber effect that cripples the SVD. We illustrate the application of this striking phenomenon on the low-rank matrix completion problem for the setting where each entry is observed with probability $d/n$, including the very sparse regime where $d$ is of order $1$, where matrix completion via the SVD of $A$ fails or produces unreliable recovery. We determine an asymptotically exact, matrix-dependent, non-universal detection threshold above which reliable, statistically optimal matrix recovery using a new, universal data-driven matrix-completion algorithm is possible. Averaging the left and right eigenvectors provably improves the recovered matrix but not the detection threshold. We define another variant of this asymmetric procedure that bypasses the randomization step and has a detection threshold that is smaller by a constant factor but with a computational cost that is larger by a polynomial factor of the number of observed entries. Both detection thresholds shatter the seeming barrier due to the well-known information theoretical limit $d \asymp \log n$ for matrix completion found in the literature.

研究の動機と目的

• 非常にスパースな行列補完における $ d \asymp \log n $ の情報理論的限界を克服すること。
• 観測されたエントリのスパースな部分集合からのみ、低ランク行列 $ P $ の主成分を信頼性高く検出する手法を開発すること。
• ベルヌーイマスキング行列 $ A_1 $ を用いた非対称性とランダムネスの導入が、標準的なSVDに比べてスペクトル回復を向上させることを示すこと。
• 行列 $ P $ の要素ごとの分布に明示的に依存する非ユニバーサルな検出閾値を確立すること。

提案手法

• 観測エントリの半分を、i.i.d. ベルヌーイ(1/2)行列 $ Z $ を用いてランダムにマスキングし、$ A_1 = Z \odot A $ および $ A_2 = A - A_1 $ を構築する。
• 非対称行列 $ X = A_1 A_2^* $ および $ Y = A_1^* A_2 $ を構築し、その非エルミート固有スペクトルをスペクトル回復のために分析する。
• スペクトル摂動理論およびグラフ理論的ツール（例：ガルトン＝ウォーソンツリーおよびバックトラッキングのないウォーク）を用いて、固有値および固有ベクトルが $ PP^* $ および $ P^*P $ と一致するかを分析する。
• 固有値の絶対値が閾値 $ \vartheta $ を上回る場合、それらが $ P $ の特異値に対応し、固有ベクトルが一致するように、検出閾値 $ \vartheta $ を確立する。
• 閾値 $ \vartheta $ が漸近的に正確であり、かつユニバーサルでないことを証明する。これは $ P $ のエントリの分布に依存する。
• ランダムネスを除去する決定的バージョンを導入するが、計算複雑性が上昇する代わりに、閾値を定数倍改善できる。

実験結果

リサーチクエスチョン

• RQ1 各行あたり $ d \asymp 1 $ 個のエントリしか観測されない状況でも、低ランク行列 $ P $ の主成分構造を信頼性高く検出できるか？
• RQ2 ランダムマスキング行列 $ A_1 $ を用いた非対称性とランダムネスの導入が、観測行列 $ A $ の標準的SVDに比べてより良いスペクトル回復をもたらすか？
• RQ3 行列 $ X = A_1 A_2^* $ および $ Y = A_1^* A_2 $ の固有スペクトルから、$ P $ の非ゼロ特異値を特定する正確な検出閾値 $ \vartheta $ は何か？
• RQ4 検出閾値は $ P $ の要素ごとの分布にどのように依存するか？ また、$ d \asymp \log n $ の壁を超えて改善可能か？
• RQ5 データ駆動型でユニバーサルなアルゴリズムがこの閾値を超えて信頼性高く行列回復を可能にし、固有ベクトルの平均化が精度を向上させるか？

主な発見

• $ X = A_1 A_2^* $ および $ Y = A_1^* A_2 $ の固有値のうち、絶対値が閾値 $ \vartheta $ を上回るものは、$ n \to \infty $ の下で高確率で $ P $ の特異値 $ \sigma_k^2 $ に漸近的に等しくなる。
• 対応する $ X $ および $ Y $ の右および左固有ベクトルは、$ P $ の特異ベクトルと一致し、主成分構造の一貫した推定が可能になる。
• 検出閾値 $ \vartheta $ は非ユニバーサルであり、$ P $ の要素ごとの分布に明示的に依存する。これは $ \log n $ のようなユニバーサル閾値とは対照的である。
• この閾値を超えて、ユニバーサルでデータ駆動型のアルゴリズムを用いることで、信頼性高く統計的に最適な行列回復が可能であり、$ d \asymp 1 $ の非常にスパースな状況でも成立する。
• 左および右固有ベクトルを平均化することで推定精度は向上するが、検出閾値には改善効果がない。
• この手法の決定的バージョンは、閾値を定数倍改善できるが、観測エントリ数の多項式オーダーで計算コストが上昇する。