[論文レビュー] Stochastic Variance-reduced Gradient Descent for Low-rank Matrix Recovery from Linear Measurements

Xiao Zhang, Lingxiao Wang+1 more|arXiv (Cornell University)|Jan 2, 2017

Sparse and Compressive Sensing Techniques参考文献 40被引用数 3

ひとこと要約

本稿は、行列分解と分散低減を活用して、線形測定からの低ランク行列回復のための新しい確率的バナチスム・バイアス除去勾配降下法を提案する。線形収束を達成し、計算複雑度を低く抑える。最適なサンプル複雑度と収束速度を確立し、ノイズあり設定では最小最大統計誤差と一致し、ノイズなしの場合には正確な回復を達成する。理論的・実践的両面で最先端手法を上回る性能を示す。

ABSTRACT

We study the problem of estimating low-rank matrices from linear measurements (a.k.a., matrix sensing) through nonconvex optimization. We propose an efficient stochastic variance reduced gradient descent algorithm to solve a nonconvex optimization problem of matrix sensing. Our algorithm is applicable to both noisy and noiseless settings. In the case with noisy observations, we prove that our algorithm converges to the unknown low-rank matrix at a linear rate up to the minimax optimal statistical error. And in the noiseless setting, our algorithm is guaranteed to linearly converge to the unknown low-rank matrix and achieves exact recovery with optimal sample complexity. Most notably, the overall computational complexity of our proposed algorithm, which is defined as the iteration complexity times per iteration time complexity, is lower than the state-of-the-art algorithms based on gradient descent. Experiments on synthetic data corroborate the superiority of the proposed algorithm over the state-of-the-art algorithms.

研究の動機と目的

• 低ランク行列センシングにおける既存の勾配ベース手法の高い計算コストを緩和すること。
• 反復回数と1反復あたりの計算複雑度を低減しつつ、線形収束を達成する効率的な確率的最適化アルゴリズムの開発。
• ノイズありおよびノイズなしの行列回復設定における理論的保証の確立。
• 低ランク行列回復における最適なサンプル複雑度と統計誤差レートの達成。
• 合成データ上での最先端アルゴリズムと比較して優れた実験的性能の実証。

提案手法

• 行列分解 X = UV⊤ を用いて、行列センシングを非凸最適化問題に定式化し、計算コストを低減する。
• 目的関数を n 個の成分関数 ℓi(UV⊤) の和に再定式化し、確率的最適化を可能にする。
• ジョンソンとジャンプ（2013）にインspiredされた確率的分散低減勾配降下法を導入し、1反復あたりの勾配分散を低減する。
• 各成分関数に b 個の観測値を含むミニバッチ構造を採用し、分散と計算負荷のバランスを取る。
• 収束性と安定性を向上させるために、重み付けされた勾配更新戦略を採用する。
• 収束性の分析に、制限等長性性質（RIP）および行列摂動バウンドなどの理論的ツールを適用する。

実験結果

リサーチクエスチョン

• RQ1 確率的分散低減勾配法は、線形測定からの低ランク行列回復において線形収束を達成できるか？
• RQ2 提案手法はノイズあり条件下で最小最大最適統計誤差を達成するか？
• RQ3 ノイズなしの場合に、最適なサンプル複雑度で真の低ランク行列を正確に回復できるか？
• RQ4 既存の勾長ベースアルゴリズムと比較して、提案手法の計算複雑度はいかほどか？
• RQ5 合成データ上での実験的性能は、最先端手法と比較してどのように評価できるか？

主な発見

• ノイズあり設定では、アルゴリズムは最小最大最適統計誤差まで線形収束を達成し、下界 O(rd′/N) と一致する。
• ノイズなしの場合、最適なサンプル複雑度 O(rd′) を用いて正確な回復を達成する。
• 全体の計算複雑度は O((Nd′2 + κ²bd′2)log(1/ϵ)) であり、最先端の勾長ベース手法より低い。
• 反復回数が 1/ϵ の対数スケールに比例して ϵ-精度に達するため、高速収束を示す。
• 合成データ上の実験結果から、収束速度と精度の両面で既存のアルゴリズムを上回る性能を示す。
• 理論的分析により、勾配分散とヘッセ近似の厳密なバウンドを用いて、ノイズありおよびノイズなしの両条件で安定性と収束性が保証されることを確認した。