[論文レビュー] Escaping Saddle Points in Ill-Conditioned Matrix Completion with a Scalable Second Order Method

Christian Kümmerle, Claudio Mayrink Verdun|arXiv (Cornell University)|Sep 7, 2020

Sparse and Compressive Sensing Techniques参考文献 42被引用数 6

ひとこと要約

本稿では、鞍点を回避し、局所的に2次収束を達成するスケーラブルな2次最適化手法であるMatrixIRLSを提案する。この手法は、反復的重み付き最小二乗法（IRLS）と滑らかなlog-detランク補助関数を組み合わせ、非常に悪い条件数（最大10^10）を持つ行列を少数の観測値からも高精度に復元可能である。従来の1次最適化手法に比べ、精度とロバスト性において優れている。

ABSTRACT

We propose an iterative algorithm for low-rank matrix completion that can be interpreted as both an iteratively reweighted least squares (IRLS) algorithm and a saddle-escaping smoothing Newton method applied to a non-convex rank surrogate objective. It combines the favorable data efficiency of previous IRLS approaches with an improved scalability by several orders of magnitude. Our method attains a local quadratic convergence rate already for a number of samples that is close to the information theoretical limit. We show in numerical experiments that unlike many state-of-the-art approaches, our approach is able to complete very ill-conditioned matrices with a condition number of up to $10^{10}$ from few samples.

研究の動機と目的

• 非常に高い条件数（最大10^10）を持つ低ランク行列を、少数の観測エントリから補完する課題に対処すること。
• 計算コストが高く、小規模なサンプルサイズではデータ非効率なため、凸核ノルム緩和の限界を克服すること。
• 鞍点を回避し、高速な局所収束を達成するスケーラブルな2次最適化手法を開発すること。
• 悪い条件性と遅い収束性のため、1次手法が悪条件問題で失敗するのを改善すること。
• 偏微分方程式に基づく逆問題やスペクトル推定などの応用分野において、データ非効率でなく、スケーラブルかつ高精度な行列補完手法を提供すること。

提案手法

• 非凸かつ非滑らかのランク補助関数として、滑らかなlog-det目的関数 Fϵ(X) = ∑ fϵ(σi(X)) を使用。ここで fϵ(σ) は σ ≥ ϵ の場合に log|σ| を滑らかに近似し、σ < ϵ の場合に二次関数として定義される。
• 反復的重み付き最小二乗法（IRLS）フレームワークを採用し、現在の反復点 X^(k) から導出されるヘッシアンに基づく重み演算子 W^(k) を用いて重み付き最小二乗問題を解く。
• ヘッシアンの近似は、ランダム化ブロッククリロフ法または共役勾配法により計算され、大規模問題へのスケーラビリティを実現する。この際、行列を完全に保存する必要がない。
• 滑らかさパラメータ ϵ は反復の進行に従って適応的に減少させられ、真のランク関数の近似を高める。
• アルゴリズムは、データ制約下での滑らかな目的関数の二次モデルを解くことと、滑らかさパラメータの更新を交互に繰り返し、目的関数の減少を保証する。
• この手法は、鞍点を回避する滑らかなニュートン法として解釈され、悪条件設定下でも局所最小値への収束を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルな2次最適化手法は、悪条件の低ランク行列補完において鞍点を回避し、高速な局所収束を達成できるか？
• RQ2 提案手法は、条件数が10^10に達する行列に対し、1次手法を上回る性能を示すか？
• RQ3 近似的に情報理論的限界に近いサンプル複雑度を達成しながらも、高い精度を維持できるか？
• RQ4 適応的滑らかさパラメータ ϵ は収束性および回復精度にどのように影響するか？
• RQ5 特異値が多数のオーダーにわたって分散する場合でも、すべての特異値を高精度に回復できるか？

主な発見

• MatrixIRLSは、情報理論的限界に近いサンプル数でさえも、局所的2次収束を達成し、高速な局所収束を示した。
• ランク10、条件数10^10の1000×1000行列を用いた実験では、MatrixIRLSは機械精度オーダーの相対的フロベニウスノルム誤差を達成し、すべての特異値を15桁の精度で回復した。
• 他の手法とは異なり、MatrixIRLSは κ = 10^10 の行列を正常に補完できたが、R2RILS、LRGeomCG、LMaFit、ScaledASD、ScaledGD、NIHTは特異値を正確に回復できなかった。
• 内部ループで用いられる共役勾配法およびランダム化ブロッククリロフ法は、適切にチューニングされた場合に高い精度を達成し、正確なヘッシアン近似を可能にした。
• 本手法はデータ非効率性とスケーラビリティを維持しており、悪条件問題においても凸法および1次手法を上回る収束速度と精度を示した。
• 多数の合成ベンチマーク（極端な条件数を有する）において、鞍点を回避し、高精度な解への収束が確認された。