[論文レビュー] A Scalable Second Order Method for Ill-Conditioned Matrix Completion from Few Samples

Christian Kümmerle, Claudio Mayrink Verdun|arXiv (Cornell University)|Jun 3, 2021

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、条件数が $10^{10}$ に達するような極めて悪条件な行列に対しても、局所的二次収束性と良好に条件付けられた線形システムを達成するスケーラブルな2次最適化手法であるMatrixIRLSを提案する。非凸なランク補佐関数と反復的重み付き最小二乗法を組み合わせることで、最小のサンプル数条件下でも高いデータ効率とスケーラビリティを実現し、理論的保証を有する。

ABSTRACT

We propose an iterative algorithm for low-rank matrix completion that can be interpreted as an iteratively reweighted least squares (IRLS) algorithm, a saddle-escaping smoothing Newton method or a variable metric proximal gradient method applied to a non-convex rank surrogate. It combines the favorable data-efficiency of previous IRLS approaches with an improved scalability by several orders of magnitude. We establish the first local convergence guarantee from a minimal number of samples for that class of algorithms, showing that the method attains a local quadratic convergence rate. Furthermore, we show that the linear systems to be solved are well-conditioned even for very ill-conditioned ground truth matrices. We provide extensive experiments, indicating that unlike many state-of-the-art approaches, our method is able to complete very ill-conditioned matrices with a condition number of up to $10^{10}$ from few samples, while being competitive in its scalability.

研究の動機と目的

• 極めて悪条件な低ランク行列（条件数最大 $10^{10}$）を最小限のサンプル数から補完する課題に対処すること。
• 凸な核ノルム最小化および既存の非凸手法のスケーラビリティとデータ効率の限界を克服すること。
• 真の行列が著しく悪条件であっても、線形システムの良好な条件付けを維持する2次最適化手法を開発すること。
• 条件数に依存しない最小のサンプル数条件下で、局所的収束を二次収束率で達成すること。
• スケーラブルなアルゴリズムを構築し、悪条件問題において、最新の手法を上回る回復精度と計算効率を達成すること。

提案手法

• MatrixIRLSは、非凸なランク補佐関数に反復的重み付き最小二乗法（IRLS）を適用することで、2次最適化を実現する。
• 滑らかでない非凸なランク最小化問題に対処するため、変数メトリックプロキシマル勾配法と滑らかでないニュートンステップを組み合わせる。
• 各反復で、ヘシアンに類似した更新を伴う正則化された最小二乗部分問題を解き、真の行列が著しく悪条件であっても良好に条件付けられた線形システムを保証する。
• 行列次元 $D$ に対して、1反復あたりの計算量が部分二次未満となるように実装されており、大規模問題へのスケーラビリティを実現する。
• 線形システムを高精度な内部ソルバーを必要とせずに、正確に解くためにランダム化ブロックKrylov法を採用する。
• 本手法は、鞍点を避ける滑らかでないニュートン法として解釈可能であり、有利なサンプリング条件下で局所的最小値への収束を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最小のサンプル数条件下で、条件数に依存しない局所的二次収束性を達成できる2次最適化手法は存在するか？
• RQ2 真の行列が極めて悪条件（例：$\kappa = 10^{10}$）であっても、行列補完で生じる線形システムは良好に条件付けられるか？
• RQ3 凸緩和手法よりも少ないサンプル数で高いデータ効率を維持しながら、スケーラビリティを保てるか？
• RQ4 悪条件行列において、特に最小の特異値をどれだけ正確に回復できるか？
• RQ5 本手法は、悪条件行列補完タスクにおいて、最新のリーマン幾何学的および1次最適化手法を上回る精度とスケーラビリティを達成できるか？

主な発見

• MatrixIRLSは、$m = \Omega(\mu_0 r D \log D)$ 個のサンプル条件下で局所的二次収束を達成し、条件数 $\kappa$ に依存しないサンプル複雑度を有する。これは一様ランダムサンプリング下で最適である。
• 真の行列の条件数が $10^{10}$ に達しても、各反復で解かれる線形システムは良好に条件付けられ、安定かつ高速な収束を可能にする。
• 最小の特異値は相対誤差 $10^{-7}$ から $10^{-3}$ の範囲で回復され、内部ソルバーの許容誤差が中程度（$10^{-3}$）であっても、スペクトル回復の高精度を示している。
• MatrixIRLSは、ScaledGD、NIHT、R3MC、LRGeomCGに比べ、極めて少ないサンプル数から悪条件行列を回復する際に優れた性能を示し、特に全特異値スペクトルの保持に優れている。
• 1反復あたりの計算コストが部分二次未満であるため、スケーラビリティを維持しており、大規模な行列補完を効率的に行える。
• 実験結果から、MatrixIRLSに加え、R3MC w/ Rank Upd および LRGeomCG Pursuit も困難な行列回復問題に対する有効な代替手法であることが示され、さらなる理論的考察が求められる。