[論文レビュー] Fast Low-Rank Matrix Estimation without the Condition Number

Mohammadreza Soltani, Chinmay Hegde|arXiv (Cornell University)|Dec 8, 2017

Sparse and Compressive Sensing Techniques参考文献 63被引用数 6

ひとこと要約

この論文は、解の条件数に関する仮定を必要とせず、線形収束と効率的な1イテレーションあたりの計算を達成する高速な低ランク行列推定のための新しい非凸最適化フレームワークMAPLEを提案する。ランダム化された低ランク近似を活用し、制限付き強い凸性／滑らかさ条件を満たし、ロジスティックPCA、精度行列推定、非線形アフィンランク最小化の分野で、最適なサンプル複雑度と実行時間の境界を達成する。既存手法よりも速度とロバスト性に優れる。

ABSTRACT

In this paper, we study the general problem of optimizing a convex function $F(L)$ over the set of $p imes p$ matrices, subject to rank constraints on $L$. However, existing first-order methods for solving such problems either are too slow to converge, or require multiple invocations of singular value decompositions. On the other hand, factorization-based non-convex algorithms, while being much faster, require stringent assumptions on the \emph{condition number} of the optimum. In this paper, we provide a novel algorithmic framework that achieves the best of both worlds: asymptotically as fast as factorization methods, while requiring no dependency on the condition number. We instantiate our general framework for three important matrix estimation problems that impact several practical applications; (i) a \emph{nonlinear} variant of affine rank minimization, (ii) logistic PCA, and (iii) precision matrix estimation in probabilistic graphical model learning. We then derive explicit bounds on the sample complexity as well as the running time of our approach, and show that it achieves the best possible bounds for both cases. We also provide an extensive range of experimental results, and demonstrate that our algorithm provides a very attractive tradeoff between estimation accuracy and running time.

研究の動機と目的

• 低ランク行列推定のための従来の1次および因子分解ベースの手法が示す、収束が遅い、1イテレーションあたりのコストが高い、または行列の条件数に依存するという限界を是正すること。
• スペクトルに関する制限付き仮定を必要とせず、因子分解手法の高速性と凸手法のロバスト性を組み合わせた汎用的なアルゴリズムフレームワークの開発すること。
• 非線形アフィンランク最小化、ロジスティックPCA、グラフィカルモデルにおける精度行列推定の3つの主要な応用に、このフレームワークを適用すること。
• 考察された問題に対して最適なサンプル複雑度と実行時間の理論的境界を確立すること。
• 推定精度と計算効率の間の優れたトレードオフを、実験的に示すこと。

提案手法

• MAPLEフレームワークは、低ランク行列推定問題を、ランク制約 rank(L) ≤ r* を満たす凸的で滑らかな目的関数 F(L) の最小化問題として定式化する。
• 変数数を p² から pr に削減するため、L = UV^T という因子分解パラメータ化を採用し、低次元多様体上での効率的な最適化を可能にする。
• 特異値計算の高速化のため、ランダム化された低ランク近似技術を用い、定数 r に対してほぼ最適な1イテレーションあたりの実行時間を達成する。
• 制限付き強い凸性／滑らかさ（RSC/RSS）条件の下で動作し、低ランク設定に一般化された標準的な凸性および滑らかさの仮定を拡張する。
• 初期化に依存せず、1次手法で一般的な部分線形収束率を回避する、線形収束を達成するように設計されている。
• 非線形アフィンランク最小化、ロジスティックPCA、精度行列推定の3つの応用に、収束性とサンプル複雑度に関する理論的保証を伴ってフレームワークを具体化する。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列推定において、条件数の仮定に依存せず、線形収束を達成できる非凸最適化フレームワークを設計できるか？
• RQ2 高速な収束と高い推定精度を維持しつつ、1イテレーションあたりの計算コストを最小化するにはどうすればよいか？
• RQ3 RSC/RSS 条件下で、このようなフレームワークの理論的サンプル複雑度と実行時間は何か？
• RQ4 ロジスティックPCA や精度行列推定といった実用的問題に、保証付きでこのフレームワークを効果的に適用できるか？
• RQ5 ill-conditioned 行列に対して、収束速度、精度、ロバスト性の観点から、実験的に他の手法と比較してどのように差がつくか？

主な発見

• MAPLE は、RSC/RSS 条件下で、初期化に依存せず、低ランク行列推定問題に対して線形収束を達成する。
• ランダム化された低ランク近似の活用により、1イテレーションあたりの実行時間がほぼ最適となり、SVDベースの手法を著しく上回る。
• 多くの既存の因子分解ベース手法とは異なり、解の条件数に依存しない。
• 合成データおよび実データ（例：Rosetta遺伝子発現データセット）の実験において、MAPLE は単位時間あたりの負の対数尤度（NLL）の減少が最も速く、FGD、SVD、ADMM、凸ソルバーをすべて上回る。
• p=1000 および n=400p の条件下で、MAPLE は 25.65 秒で相対誤差 3.02×10⁻¹ を達成し、FGD（13.02 秒だが誤差が大きい）と ADMM（337.5 秒）を上回る。
• Rosetta データセットでは、MAPLE がすべての競合手法よりも NLL を速く減少させ、線形収束を示し、優れた実験的効率性を示している。