[論文レビュー] On Convergence of the Alternating Projection Method for Matrix Completion and Sparse Recovery Problems

Ming‐Jun Lai, Abraham Varghese|arXiv (Cornell University)|Nov 6, 2017

Sparse and Compressive Sensing Techniques参考文献 43被引用数 10

ひとこと要約

本稿は、観測された要素が低ランク行列由来であるという仮定の下で、低ランク行列補完およびスパース回復における交互射影（AP）アルゴリズムの収束性と線形収束速度を確立する。確率1で、ランク-$ r $ の行列は、ランダムにサンプリングされた要素に対して、有限通りの方法での補完が可能であることを証明し、AP手法が真の低ランク解に線形収束するための条件を提示する。

ABSTRACT

In this paper, we study the convergence of Alternating Projection (AP) algorithm for the matrix completion and compressed sensing problems. We also present computational evidence for the excellent performance of the algorithm. Also, in the last section, we prove using algebraic-geometric techniques that, fixing the known positions, if a rank r matrix can be completed in finitely many ways using one given set of known entries, then, for almost all set of known entries, the matrix can be only completed into a rank r matrix in finitely many ways.

研究の動機と目的

• 低ランク行列補完およびスパース回復における交互射影（AP）アルゴリズムの理論的収束保証を確立すること。
• APアルゴリズムが真の低ランク解に線形収束するための十分条件を特定すること。
• 固定された観測要素を持つ行列の補完可能な方法の数を分析し、確率1でランク-$ r $ の補完が有限個に限られることを示すこと。
• 標準的な $ M_{\text{obs}} $ 初期化よりも収束を著しく加速する改善された初期推定値の選択方法を提供すること。
• 画像回復タスクにおけるアルゴリズムの性能を実証し、実用的有効性を検証すること。

提案手法

• 低ランク行列の集合の構造を分析するために、特にアフィン多様体および射影多様体の理論を用いた代数幾何学的ツールを用いる。
• 次元論および準同型写像の性質を適用し、射影写像 $ \tilde{\Phi}_{\Omega} $ における一般観測ベクトルの逆像が0次元であることを示し、これにより有限個の補完が存在することを示す。
• 多様体の次数の概念を用いて、観測要素から得られるランク-$ r $ の補完可能な方法の数を上界で制限する。
• ザリスキ位相およびオーディナリーな稠密集合を用い、ほぼすべての観測要素の配置に対して、補完可能な方法の数が有限であることを示す。
• 補題17および補題19を用いて、低ランク行列多様体の観測写像による像の次元が元の多様体の次元と等しいことを示し、正則性を保証する。
• 代数幾何学の結果（例：[43]の補題3）を適用し、観測写像の下で有限個の逆像を持つ点の集合がザリスキ位相で開かつ稠密であることを証明し、したがって全測度を持つことを示す。

実験結果

リサーチクエスチョン

• RQ1 交互射影アルゴリズムが、行列補完問題において真の低ランク解に収束する条件は何か？
• RQ2 APアルゴリズムが線形収束を示すのはいつか？ そして、この収束速度を保証する幾何学的・代数的条件は何か？
• RQ3 ランク-$ r $ 行列から得られた観測要素の集合に対して、観測要素を補完できる異なるランク-$ r $ 行列はいくつ存在するか？
• RQ4 行列補完問題が一意的または有限個の解を持つような観測要素の配置の集合をどのように特徴づけられるか？
• RQ5 標準的な初期化 $ M_{\Omega} $ よりも著しく収束を高速化できるAPアルゴリズムの初期推定値の選び方は何か？

主な発見

• 確率1で、任意の $ r $-可能観測ベクトルは、ランク-$ r $ の補完を有限個に制限するため、解集合が離散的であることが保証される。
• 可能な補完の数は、多様体 $ \overline{\mathcal{M}_r} $ の次数によって上界で制限され、その値は $ \prod_{i=0}^{n-r-1}\frac{\binom{n+i}{r}}{\binom{r+i}{r}} $ で与えられ、鋭い上界を与える。
• 観測要素がランク-$ r $ 行列由来であるという仮定の下で、APアルゴリズムは真の低ランク行列に収束し、適切な条件下では線形収束を示す。
• 収束解析は、射影写像における一般観測ベクトルの逆像が0次元であることに依存しており、これは次元の等しさと準同型理論から導かれる。
• 有限個の補完をもたらす観測構成の集合はザリスキ位相で開かつ稠密であり、したがって一般の構成であり、ルベーグ測度で全測度を持つ。
• 本稿では、$ M_{\Omega} $ よりも優れた初期推定値を構成的に選ぶ方法を提供し、実際の応用においてAPアルゴリズムの収束速度を著しく向上させることができる。