[論文レビュー] Fast Low-Rank Matrix Learning with Nonconvex Regularization

Quanming Yao, James T. Kwok+1 more|arXiv (Cornell University)|Dec 3, 2015

Sparse and Compressive Sensing Techniques参考文献 37被引用数 17

ひとこと要約

本稿では、特異値しきい値処理とパワー法を活用して低ランク部分空間上で近接作用素を効率的に計算することで、非凸な低ランク行列学習のための高速アルゴリズムFaNCLを提案する。この手法は、全特異値分解（SVD）を回避することで、最先端のソルバーと比較して10倍以上の高速化を達成し、回復精度を向上させるとともに、核ノルム正則化よりも低いランクの解を生成する。

ABSTRACT

Low-rank modeling has a lot of important applications in machine learning, computer vision and social network analysis. While the matrix rank is often approximated by the convex nuclear norm, the use of nonconvex low-rank regularizers has demonstrated better recovery performance. However, the resultant optimization problem is much more challenging. A very recent state-of-the-art is based on the proximal gradient algorithm. However, it requires an expensive full SVD in each proximal step. In this paper, we show that for many commonly-used nonconvex low-rank regularizers, a cutoff can be derived to automatically threshold the singular values obtained from the proximal operator. This allows the use of power method to approximate the SVD efficiently. Besides, the proximal operator can be reduced to that of a much smaller matrix projected onto this leading subspace. Convergence, with a rate of O(1/T) where T is the number of iterations, can be guaranteed. Extensive experiments are performed on matrix completion and robust principal component analysis. The proposed method achieves significant speedup over the state-of-the-art. Moreover, the matrix solution obtained is more accurate and has a lower rank than that of the traditional nuclear norm regularizer.

研究の動機と目的

• 非凸な低ランク行列最適化における近接勾配法における全SVDの高コストを緩和すること。
• 凸な核ノルム正則化と比較して、回復精度を向上させるとともに、より低いランクの解を得ること。
• 一般的に用いられる非凸正則化子の構造を活用することで、高価な全SVDを回避する効率的なアルゴリズムの開発。
• 行列補完における「スパース＋低ランク」構造を活用し、計算をさらに高速化すること。
• O(1/T) の収束速度で臨界点に収束することを保証すること。

提案手法

• capped-ℓ1、LSP、TNN、SCAD、MCP などの一般的な非凸正則化子に対して、近接作用素における小さな特異値を自動でプルーニングする新しいしきい値ルールを提案する。
• パワー法を用いて、全SVD計算を回避するための主要特異部分空間を効率的に計算する。
• 近接作用素の計算を、主要部分空間上に投影された小さな行列に縮小することで、計算コストを著しく削減する。
• 行列補完における「スパース＋低ランク」構造を活用し、現在の反復値と観測値の差に含まれるスパarsityを活かして、更新をさらに高速化する。
• バックトラッキングラインサーチを用いた近接勾配降下法を適用し、O(1/T) の収束速度で臨界点に収束することを保証する。
• これらの要素を統合し、理論的保証を維持しながら高い効率性を実現する統一アルゴリズムFaNCLを構築する。

実験結果

リサーチクエスチョン

• RQ1 一般的な非凸正則化子に対して、特異値のしきい値ルールを特定することで、近接勾配法における全SVDを回避できるか？
• RQ2 パワー法を効果的に用いて主要特異部分空間を効率的に近似することで、近接作用素の計算を高速化できるか？
• RQ3 近接作用素の計算を小さな投影行列に縮小することで、計算時間に顕著な改善が得られ、精度の損失なしに実現できるか？
• RQ4 行列補完における「スパース＋低ランク」構造を活用することで、アルゴリズムのさらなる高速化が可能か？
• RQ5 提案手法は、核ノルム正則化と比較して、より高い回復精度と低いランクを達成するか、かつ著しく高速化されるか？

主な発見

• 動画の背景除去タスクにおいて、FaNCLは最先端のGPGソルバーと比較して10倍以上高速化され、ブートストラップ動画で68.3秒（GPGは1571.2秒）を記録した。
• 行列補完において、capped-ℓ1正則化では、FaNCLはCPU時間をGPGの1009.3秒から60.4秒に削減し、100%のスパースサポート回復を達成した。
• FaNCLは、核ノルム正則化と比較して、すべての非凸正則化子においてより低いNMSEを達成し、LSPでは0.0029、TNNでは0.0033（核ノルム正則化は0.0041）を記録した。
• 動画ノイズ除去において、FaNCLは核ノルム正則化（23.01 dB）よりも高いPSNR（ブートストラップで25.08 dB）を達成し、計算時間も10倍高速化された。
• アルゴリズムは、理論的保証に一致するO(1/T)の収束速度で臨界点に収束した。
• 提案手法は、核ノルム正則化と比較して、より低いランクの解を生成し、低ランク近似の質が向上していることを示した。