[論文レビュー] Improved Algorithms for Matrix Recovery from Rank-One Projections

Mohammadreza Soltani, Chinmay Hegde|arXiv (Cornell University)|May 21, 2017

Sparse and Compressive Sensing Techniques参考文献 32被引用数 5

ひとこと要約

本稿では、ノイズのあるランク1射影からの低ランク行列回復のための2つの新しい非凸アルゴリズム、EP-ROM および AP-ROM を提案する。ランダム化ブロッククリロフ部分空間SVDと勾配ベースの更新を活用することで、行列の条件数に依存しないサンプル複雑度を達成し、線形収束を実現。これにより、ほぼ線形実行時間と、すべての低ランク行列に対して無条件に優れた性能が得られる。

ABSTRACT

We consider the problem of estimation of a low-rank matrix from a limited number of noisy rank-one projections. In particular, we propose two fast, non-convex \emph{proper} algorithms for matrix recovery and support them with rigorous theoretical analysis. We show that the proposed algorithms enjoy linear convergence and that their sample complexity is independent of the condition number of the unknown true low-rank matrix. By leveraging recent advances in low-rank matrix approximation techniques, we show that our algorithms achieve computational speed-ups over existing methods. Finally, we complement our theory with some numerical experiments.

研究の動機と目的

• 次元に比例して立方的にスケーリングする既存の凸および非凸行列回復手法の計算非効率性を解消すること。
• 先行の非凸手法が初期値の精度に依存し、行列の条件数に依存する問題を克服すること。
• 高次元設定におけるランク1射影からの行列回復のための高速でスケーラブルなアルゴリズムを開発すること。
• スペクトル的または条件数に関する仮定なしに、ほぼ最適なサンプル複雑度と実行時間を達成すること。
• 行列センシング、共分散スケッチ、多項式ニューラルネットワーク学習などの応用分野での実用的導入を可能にすること。

提案手法

• ランク1射影からの行列回復のための2つの非凸的で適切なアルゴリズム、EP-ROM および AP-ROM を提案する。
• フルSVDを必要としない低ランク近似を実現するため、ランダム化ブロッククリロフ部分空間SVD（MBK-SVD）を用いる。
• 観測値と予測値の残差に基づいた勾配更新ステップを設計する。
• 低ランク構造を維持するため、MBK-SVD とクリロフ反復を用いてヘッドおよびテイルの近似射影を統合する。
• 勾配に含まれる行列ベクトル積を明示的な行列形成なしに効率的に計算するため、演算子 $β$ を活用する。
• 各反復において適切なステップサイズ選択と部分空間射影を用いることで、線形収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 フルSVD計算を回避し、線形収束を達成するランク1射影からの行列回復アルゴリズムを設計できるか？
• RQ2 真の低ランク行列の条件数に依存しない回復アルゴリズムを実現できるか？
• RQ3 高次元設定において、ほぼ最適なサンプル複雑度を維持しながら、ほぼ線形実行時間を達成できるか？
• RQ4 ランダム化ブロッククリロフ手法の使用が、行列回復の計算効率をどのように向上させるか？
• RQ5 非凸行列回復において、サンプル複雑度と実行時間の理論的および実験的トレードオフは何か？

主な発見

• 提案された AP-ROM アルゴリズムは、合計実行時間が $\widetilde{{\mathcal{O}}}(p^{2}r^{3}\log^{5}(p)\log^{2}(\frac{1}{ε}))$ にまで短縮され、$O(p^3)$ の演算を要する先行手法と比べて顕著に高速である。
• EP-ROM は、行列の条件数に依存しないサンプル複雑度 $\mathcal{O}(pr^{2}\log^{4}(p)\log(\frac{1}{\epsilon}))$ を有し、線形収束を達成する。
• アルゴリズムは条件数に依存しない（条件数無関係）であり、劣悪な条件の行列に対しても性能が低下しない。
• 数値実験により、提案手法がサンプル複雑度と実行時間の間で有利なトレードオフを実現していることが確認された。
• MBK-SVD の使用により、勾配近似の計算が効率的に行えるようになり、フルSVDの必要性が低減され、$p$ に関してほぼ線形スケーリングが達成された。
• 理論的分析により、AP-ROM の実行時間は $\mathcal{O}(p^{2}r^{3}\log^{5}(p)\log^{2}(\frac{1}{\epsilon}))$ に比例し、スペクトル依存性がないことが示された。