[論文レビュー] On the Convergence of Projected-Gradient Methods with Low-Rank Projections for Smooth Convex Minimization over Trace-Norm Balls and Related Problems

Dan Garber|arXiv (Cornell University)|Feb 5, 2019

Sparse and Compressive Sensing Techniques参考文献 31被引用数 6

ひとこと要約

本稿は、トレースノルム球上の滑らかな凸最適化において、低ランク特異値分解（SVD）を用いた投影勾配法の証明可能な収束性を確立する。最適解における勾配の最大特異値の重複度と等しい、またはわずかにそれを上回るSVD近似のランクが確保されている場合、ウォームスタートからの収束が保証され、収束領域の半径は特異値ギャップに比例する。

ABSTRACT

Smooth convex minimization over the unit trace-norm ball is an important optimization problem in machine learning, signal processing, statistics and other fields, that underlies many tasks in which one wishes to recover a low-rank matrix given certain measurements. While first-order methods for convex optimization enjoy optimal convergence rates, they require in worst-case to compute a full-rank SVD on each iteration, in order to compute the projection onto the trace-norm ball. These full-rank SVD computations however prohibit the application of such methods to large problems. A simple and natural heuristic to reduce the computational cost is to approximate the projection using only a low-rank SVD. This raises the question if, and under what conditions, this simple heuristic can indeed result in provable convergence to the optimal solution. In this paper we show that any optimal solution is a center of a Euclid. ball inside-which the projected-gradient mapping admits rank that is at most the multiplicity of the largest singular value of the gradient vector. Moreover, the radius of the ball scales with the spectral gap of this gradient vector. We show how this readily implies the local convergence (i.e., from a "warm-start" initialization) of standard first-order methods, using only low-rank SVD computations. We also quantify the effect of "over-parameterization", i.e., using SVD computations with higher rank, on the radius of this ball, showing it can increase dramatically with moderately larger rank. We extend our results also to the setting of optimization with trace-norm regularization and optimization over bounded-trace positive semidefinite matrices. Our theoretical investigation is supported by concrete empirical evidence that demonstrates the extit{correct} convergence of first-order methods with low-rank projections on real-world datasets.

研究の動機と目的

• 低ランクSVD近似を用いた投影勾配法が、トレースノルム制約付き凸最適化において収束保証を維持するかどうかを解明すること。
• フルランクSVDを低ランクSVDに置き換えても最適解への収束が保たれる条件を同定すること。
• 過パrameter化（わずかに高いランクのSVDを用いること）が局所的収束領域のサイズに与える影響を定量化すること。
• 理論的結果をトレースノルム正則化問題およびトレースが有界な正定値行列最適化問題に拡張すること。
• 実世界の行列補完データセットを用いた実証的検証を通じて、最小限のランクSVDを用いても正しく収束することを示すこと。

提案手法

• 最適解の周辺における投影勾配写像の理論的分析により、最適解を中心とするユークリッド球内において、低ランク構造が保持されることを示した。
• 最適点における勾配行列の最大特異値の重複度に基づく局所的収束条件の導出。
• 最適解における勾配行列の最大特異値と第二最大特異値の間の特異値ギャップに比例する収束半径の導入。
• 計算コストを $ O(mn^2) $ から $ O(rmn) $ に削減するため、ランク $ r $ の切断SVDを用いてフルランク投影を近似した。
• 実用的な低ランクSVDの計算に、Krylov部分空間法（例：パワー反復法、ランチョス法）を適用した。
• MovieLensデータセットを用いた実証的検証により、同一の初期化および収束基準下で、フルランクSVDと低ランクSVDに基づく手法を比較した。

実験結果

リサーチクエスチョン

• RQ1 投影勾配ステップで低ランクSVD近似を用いる場合、最適解への収束が保たれる条件は何か？
• RQ2 最適解における勾配の最大特異値の重複度と、SVD近似に必要なランクとの関係は何か？
• RQ3 最適解のランクをわずかに上回るランク（過パrameter化）にした場合、局所的収束領域のサイズにどのような影響があるか？
• RQ4 ウォームスタート初期化のもとで、PGD や FISTA のような一次元法が、低ランクSVDのみを用いても正しく収束するか？
• RQ5 実世界の行列補完データセットにおける実証的結果は、理論的収束保証をどの程度支持しているか？

主な発見

• 最適解のランクは、最適性における勾配の最大特異値の重複度と一致し、$ \textrm{rank}({\mathbf{X}}^{*}) = \#\sigma_1(\nabla f({\mathbf{X}}^{*})) $ が、すべてのテストされたMovieLensデータセットで確認された。
• PGDおよびFISTAの両方において、最適解のランクと等しいSVDランクを用いることで、投影勾配法が正しく収束することが実証された。
• FISTAは最適解のランクをわずかに上回る2成分まで追加すれば十分であり、やや過パrameter化であっても収束に十分であることが示された。
• 特異値ギャップが小さい場合、SVDランクのわずかな増加によって局所的収束領域の半径が著しく拡大することが分かった。
• 適切な初期化のもとで、低ランクSVDを用いた手法がフルランクSVDと同一の反復点を生成することから、正しく収束していることが確認された。
• ML100kでは $ \tau = 3500 $ のとき、最適解のランクは41であり、勾配には最大特異値に42個の成分が存在した。FISTAはランク42で正しく収束した。