[論文レビュー] Noisy Matrix Completion: Understanding Statistical Guarantees for Convex Relaxation via Nonconvex Optimization

Yuxin Chen, Yuejie Chi+3 more|arXiv (Cornell University)|Feb 20, 2019

Sparse and Compressive Sensing Techniques参考文献 94被引用数 21

ひとこと要約

この論文は、凸緩和と非凸最適化の橋渡しにより、ノイズのある観測下での凸的低ランク行列補完に対して近似的に最適な統計的保証を確立する。ランクと条件数が有界であるとき、核ノルム最小化はフロベニウスノルム、エントリごとのノルム、スペクトルノルムにおいて近似的にミニマックス最適な誤差を達成することを示し、近似的な非凸臨界点の安定性を活用して非凸最適化の理論的保証を凸形式に転送する。

ABSTRACT

This paper studies noisy low-rank matrix completion: given partial and noisy entries of a large low-rank matrix, the goal is to estimate the underlying matrix faithfully and efficiently. Arguably one of the most popular paradigms to tackle this problem is convex relaxation, which achieves remarkable efficacy in practice. However, the theoretical support of this approach is still far from optimal in the noisy setting, falling short of explaining its empirical success. We make progress towards demystifying the practical efficacy of convex relaxation vis-à-vis random noise. When the rank and the condition number of the unknown matrix are bounded by a constant, we demonstrate that the convex programming approach achieves near-optimal estimation errors --- in terms of the Euclidean loss, the entrywise loss, and the spectral norm loss --- for a wide range of noise levels. All of this is enabled by bridging convex relaxation with the nonconvex Burer-Monteiro approach, a seemingly distinct algorithmic paradigm that is provably robust against noise. More specifically, we show that an approximate critical point of the nonconvex formulation serves as an extremely tight approximation of the convex solution, thus allowing us to transfer the desired statistical guarantees of the nonconvex approach to its convex counterpart.

研究の動機と目的

• 凸緩和が理論的サポートが弱いにもかかわらず、ノイズあり低ランク行列補完でなぜうまく機能するのかを理解すること。
• 核ノルム最小化のノイズ下での経験的成果と理論的理解のギャップを埋めること。
• フロベニウスノルム、エントリごとのノルム、スペクトルノルムの観点から、凸緩和における近似的に最適な推定誤差バウンドを確立すること。
• 近似的な非凸臨界点が凸解を密に近似できることを示し、統計的保証の転送を可能にすること。
• 非凸最適化の頑健性が凸緩和の頑健性を示すことで、凸および非凸アプローチの分析を統一すること。

提案手法

• 著者たちは、凸核ノルム最小化問題を分析するための代理として、Burer–Monteiro の非凸形式を用いる。
• 特定の条件下で、凸形式と非凸形式の間の正確な双対性を確立する。
• 勾配降下法を用いて近似的な非凸最適化子を構築し、それが凸解に近いまま保たれることを証明する。
• 特異値摂動理論を活用して、非凸反復点と真の低ランク行列との距離を分析することで誤差バウンドを導出する。
• 行列の符号関数と行列ノルム不等式を用いて、凸解と非凸解の差を制御する。
• 近似的な非凸臨界点が凸解を密に近似することを示し、凸解が非凸アプローチの安定性を継承することを証明する。

実験結果

リサーチクエスチョン

• RQ1 なぜ凸緩和は理論的保証が劣っているにもかかわらず、ノイズあり行列補完で強力な経験的性能を達成するのか？
• RQ2 非凸最適化手法の頑健性を活用して、凸緩和に対するより強い理論的保証を提供できるか？
• RQ3 どのような条件下で、凸緩和がノイズあり行列補完において近似的にミニマックス最適な誤差を達成するのか？
• RQ4 元の行列のランクと条件数が有界であるとき、凸形式と非凸形式の解はどれほど近いか？
• RQ5 近似的な非凸臨界点は凸解の密な代理として機能できるか？統計的保証の転送が可能か？

主な発見

• 真の行列のランクと条件数が定数で有界であるとき、核ノルム最小化はフロベニウスノルムにおいて近似的に最適な推定誤差を達成する。
• エントリごとのノルムにおいても近似的に最適な誤差が達成され、適切なノイズレベル下で誤差が $ O(\sqrt{\log n}/\sqrt{n}) $ にスケーリングする。
• スペクトルノルム誤差についても近似的に最適であり、バウンドが $ O(\sqrt{\log n}/\sqrt{n}) $ にスケーリングされ、対数要因を除いてミニマックス下界と一致する。
• 近似的な非凸臨界点が凸解から $ O(\|E\|_F) $ の距離内にあることが示され、安定性保証の転送が可能になる。
• 解析により、凸解が非凸アプローチの頑健性を継承することが確立され、その経験的成功が説明される。
• サブガウス型および有界ノイズを含む広範なノイズレベルにおいて、ランダムなエントリのサンプリング下で結果が成り立つ。