[論文レビュー] Large-Scale Low-Rank Matrix Learning with Nonconvex Regularizers

Quanming Yao, James T. Kwok+2 more|arXiv (Cornell University)|Aug 1, 2017

Sparse and Compressive Sensing Techniques参考文献 56被引用数 8

ひとこと要約

本稿では、非凸正則化子を用いた大規模な低ランク行列学習のための高速な近位法、FaNCLを提案する。近位演算子におけるしきい値処理を活用し、それをパワー法によって近似することで、不正確なステップを伴う場合でもO(1/T)の収束を達成する。加速版（FaNCL-acc）および並列化により、ほぼ線形のスループット向上が実現され、行列補完およびRPCAタスクにおいて、最先端手法を著しく上回る性能を発揮する。

ABSTRACT

Low-rank modeling has many important applications in computer vision and machine learning. While the matrix rank is often approximated by the convex nuclear norm, the use of nonconvex low-rank regularizers has demonstrated better empirical performance. However, the resulting optimization problem is much more challenging. Recent state-of-the-art requires an expensive full SVD in each iteration. In this paper, we show that for many commonly-used nonconvex low-rank regularizers, a cutoff can be derived to automatically threshold the singular values obtained from the proximal operator. This allows such operator being efficiently approximated by power method. Based on it, we develop a proximal gradient algorithm (and its accelerated variant) with inexact proximal splitting and prove that a convergence rate of O(1/T) where T is the number of iterations is guaranteed. Furthermore, we show the proposed algorithm can be well parallelized, which achieves nearly linear speedup w.r.t the number of threads. Extensive experiments are performed on matrix completion and robust principal component analysis, which shows a significant speedup over the state-of-the-art. Moreover, the matrix solution obtained is more accurate and has a lower rank than that of the nuclear norm regularizer.

研究の動機と目的

• 各反復で高価なフル特異値分解（SVD）を必要とする、既存の非凸低ランク最適化手法の計算非効率性を是正すること。
• 高次元行列を対象とした非凸低ランク問題を、効率的な近位更新を可能にすることで克服すること。
• 行列補完やロバストPCAのような大規模応用に適した、高速でスケーラブルなアルゴリズムの開発。
• マルチコアアーキテクチャを活用し、スレッド数の増加に伴いほぼ線形のスループット向上を達成できるように、アルゴリズムを並列化すること。

提案手法

• 一般的な非凸正則化子（例：キャップド-ℓ1、LSP、TNN、SCAD、MCP）に対して、近位演算子における特異値の自動しきい値処理を活用する新規近位法、FaNCLを提案する。
• 行列の主要部分空間上でパワー法を適用することで近位演算子を近似し、より小さな低ランク近似上で計算することで計算コストを削減する。
• 制御された誤差を有する不正確な近位ステップを導入し、反復間の2乗距離に関してO(1/T)の収束を保証する。
• ネステロフ風のモーメンタムを用いた加速版、FaNCL-accを提案し、収束速度を向上させる。
• 行列を分割し、複数スレッドで部分行列を並列処理するFaNCLの並列版を設計し、ほぼ線形のスループット向上を実現する。
• 行列補完のためのスパース＋低ランク構造を活用し、2パラメータブロックを用いてRPCAに拡張する。

実験結果

リサーチクエスチョン

• RQ1 フルSVD計算を伴わずに、非凸低ランク正則化子の近位演算子を効率的に近似できるか？
• RQ2 制御された誤差を有する不正確な近位ステップでも、非凸低ランク最適化において収束が保証されるか？
• RQ3 スレッド数の増加に伴い、性能を維持したまま効果的に並列化できるか？
• RQ4 行列補完およびRPCAタスクにおいて、提案手法が最先端手法を速度および回復精度の両面で上回るか？
• RQ5 大規模な設定において、非凸正則化子の使用が、凸な核ノルムよりも優れた回復性能をもたらすか？

主な発見

• FaNCLは、不正確な近位ステップを伴う場合でも、連続反復間の2乗距離に関してO(1/T)の収束レートを達成する。
• FaNCL-accは、最先端手法GPGに比べて著しく高速であり、12コア環境下でNetflixデータセットにおいてCPU時間を203秒から49秒に短縮した。
• 並列化されたFaNCL実装は、ほぼ線形のスループット向上を達成し、キャッシュ効率の向上と負荷分散のおかげでYahooデータセットでは1を超えるスループット向上を示した。
• 動画行列補完タスクにおいて、FaNCL-accはGPGよりも速くより高いPSNR（25.25 ± 0.06）を達成した（GPG：25.26 ± 0.04）が、実行時間は148秒（GPG：4709秒）にまで短縮された。
• すべての動画データセットにおいて、非凸正則化子（例：LSP、TNN）がPSNRの観点で凸な核ノルムを一貫して上回り、その優れた実験的回復性能を裏付けた。
• 主要部分空間のパワー法近似により、効率的な計算が可能となり、各反復におけるフルSVDの回避が実現された。