[論文レビュー] On the computational and statistical complexity of over-parameterized matrix sensing

Jiacheng Zhuo, Jeongyeol Kwon+2 more|arXiv (Cornell University)|Jan 27, 2021

Sparse and Compressive Sensing Techniques参考文献 34被引用数 8

ひとこと要約

本稿は、真のランク $ r $ が未知であり、過剰に指定されている（$ k > r $）低ランク行列センシングにおける因子分解勾配降下法（FGD）の包括的分析を提供する。FGD が $ \tilde{\mathcal{O}}(\sigma_r / \sigma \cdot \sqrt{n/d}) $ 回の反復後に $ \tilde{\mathcal{O}}(kd\sigma^2/n) $ の統計誤差に収束することを確立し、過剰パラメータ化下での計算的・統計的複雑度に関する理解の空白を解消した。

ABSTRACT

We consider solving the low rank matrix sensing problem with Factorized Gradient Descend (FGD) method when the true rank is unknown and over-specified, which we refer to as over-parameterized matrix sensing. If the ground truth signal $\mathbf{X}^* \in \mathbb{R}^{d*d}$ is of rank $r$, but we try to recover it using $\mathbf{F} \mathbf{F}^ op$ where $\mathbf{F} \in \mathbb{R}^{d*k}$ and $k>r$, the existing statistical analysis falls short, due to a flat local curvature of the loss function around the global maxima. By decomposing the factorized matrix $\mathbf{F}$ into separate column spaces to capture the effect of extra ranks, we show that $\|\mathbf{F}_t \mathbf{F}_t - \mathbf{X}^*\|_{F}^2$ converges to a statistical error of $ ilde{\mathcal{O}} ({k d σ^2/n})$ after $ ilde{\mathcal{O}}(\frac{σ_{r}}σ\sqrt{\frac{n}{d}})$ number of iterations where $\mathbf{F}_t$ is the output of FGD after $t$ iterations, $σ^2$ is the variance of the observation noise, $σ_{r}$ is the $r$-th largest eigenvalue of $\mathbf{X}^*$, and $n$ is the number of sample. Our results, therefore, offer a comprehensive picture of the statistical and computational complexity of FGD for the over-parameterized matrix sensing problem.

研究の動機と目的

• 真のランク $ r $ が未知であり、過剰に指定されている（$ k > r $）低ランク行列センシングにおいて、因子分解勾配降下法（FGD）の理論的理解の不足を解消すること。
• 過剰パラメータ化された設定におけるグローバル最適解周辺の退化したヘッセ行列と平坦な局所的曲率の課題に直面し、強い凸性に依存する従来の解析が無効となる問題を克服すること。
• 過剰パラメータ化された状態における FGD の統計誤差と計算的収束速度の両方を特定し、その性能を包括的に把握すること。
• 過剰指定による余剰な自由度のおかげで、正確な回復ではなく、非ゼロの統計誤差に収束することを確立すること。

提案手法

• 真のランク $ r $ を超える追加のランクの影響をモデル化するため、因子分解行列 $ \mathbf{F} $ を別々の列空間に分解する。
• ステップサイズ $ \eta $ を用いた勾配更新に従い、因子分解行列 $ \mathbf{F}_t $ の時間発展を追跡することで FGD のダイナミクスを分析する。更新式は $ \mathbf{F}_{t+1} = \mathbf{F}_t - \eta \mathbf{G}_t^n $ であり、$ \mathbf{G}_t^n $ は経験的勾配である。
• 低ランク行列上の $ \epsilon $-ネットを用いた一様集中不等式を用いて、経験的勾配と期待値との乖離を制御する。
• サブガウス分布と特異値ノルムの不等式を用い、経験的ヘッセ行列が期待ヘッセ行列に一様に集中することを導出する。
• 過剰ランクの影響を分離することで、ランクの過剰指定を考慮した独自の解析フレームワークを導入する。
• ランダム行列理論と高次元確率論の結果を活用し、低ランク部分空間上での勾配作用素が恒等作用素からどれほど逸脱するかを評価する。

実験結果

リサーチクエスチョン

• RQ1 低ランク行列センシングにおいて、ランクが過剰に指定されている（$ k > r $）場合に、FGD が達成可能な統計誤差は何か？
• RQ2 過剰パラメータ化下で、FGD は真の行列 $ \mathbf{X}^* $ の安定した近傍に到達するまでにどの程度の反復回数を要するか？
• RQ3 標準的な収束解析は過剰パラメータ化された状態でなぜ失敗するのか？平坦な曲率と非厳密凸性に対処するにはどのように解析を拡張できるか？
• RQ4 真の行列 $ \mathbf{X}^* $ の $ r $ 番目の固有値 $ \sigma_r $ とノイズ標準偏差 $ \sigma $ の比 $ \sigma_r / \sigma $ は、収束速度にどのように影響するか？
• RQ5 余剰な自由度が存在するにもかかわらず、FGD は過剰パラメータ化された状況でもミニマックス最適な統計誤差を達成できるか？

主な発見

• FGD の反復 $ \mathbf{F}_t \mathbf{F}_t^\top $ は、真のランクが $ r $ であっても、過剰パラメータ化されたランク $ k $ に比例する $ \tilde{\mathcal{O}}(kd\sigma^2/n) $ の統計誤差に収束する。
• 収束速度は $ \tilde{\mathcal{O}}(\sigma_r / \sigma \cdot \sqrt{n/d}) $ 回の反復であり、信号対ノイズ比 $ \sigma_r / \sigma $ に依存し、標本サイズ $ n $ の平方根に比例する。
• 追加の $ (k - r) $ 次元が不可避な推定誤差をもたらすため、既知のランクの場合（$ \tilde{\mathcal{O}}(rd\sigma^2/n) $）よりも最終誤差が大きくなる。
• 解析により、過剰パラメータ化下ではグローバル最小値でヘッセ行列が退化することが示された。これは、従来の強い凸性仮定が無効であることを意味する。
• 高確率で、経験的勾配作用素は低ランク部分空間上で恒等作用素に集中しており、$ \epsilon $-ネットの議論を用いた収束解析が可能になる。
• 結果はサブガウスノイズとランダムな対称センシング行列のもとで成り立ち、非漸近的であり、有限標本保証を提供する。