[論文レビュー] Implicit Regularization for Optimal Sparse Recovery

Tomas Vaškevičius, Varun Kanade+1 more|arXiv (Cornell University)|Sep 11, 2019

Sparse and Compressive Sensing Techniques被引用数 26

ひとこと要約

本稿では、制限等方性性質（RIP）のもとで、適切に調整された初期化、ステップサイズ、および早期停止を用いたimplicit regularizationにより、不定な測定値からスパース信号をミニマックス最適に回復する勾配降下ベースのアルゴリズムを提案する。この手法は、データを読み込むコストと同等の計算コストで最適な統計的レートを達成し、信号対雑音比に適応し、信号が十分に強い場合には次元に依存しない誤差を達成する。

ABSTRACT

We investigate implicit regularization schemes for gradient descent methods applied to unpenalized least squares regression to solve the problem of reconstructing a sparse signal from an underdetermined system of linear measurements under the restricted isometry assumption. For a given parametrization yielding a non-convex optimization problem, we show that prescribed choices of initialization, step size and stopping time yield a statistically and computationally optimal algorithm that achieves the minimax rate with the same cost required to read the data up to poly-logarithmic factors. Beyond minimax optimality, we show that our algorithm adapts to instance difficulty and yields a dimension-independent rate when the signal-to-noise ratio is high enough. Key to the computational efficiency of our method is an increasing step size scheme that adapts to refined estimates of the true solution. We validate our findings with numerical experiments and compare our algorithm against explicit $\ell_{1}$ penalization. Going from hard instances to easy ones, our algorithm is seen to undergo a phase transition, eventually matching least squares with an oracle knowledge of the true support.

研究の動機と目的

• スパース線形回帰に対して、明示的な正則化なしに統計的・計算的に最適なアルゴリズムを開発すること。
• 制限等方性性質（RIP）のもとで、初期化、ステップサイズ、停止時刻によるimplicit regularizationがミニマックス最適な回復を達成できることを示すこと。
• 信号対雑音比が高い場合に、信号の強さに応じて困難さに適応し、次元に依存しない誤差率を達成できることを示すこと。
• 簡単なインスタンスにおいて、真のサポートをオракルで知る最小二乗法と同等の性能を示すことを検証すること。
• 信号強度とノイズレベルに明示的に依存する収束性と誤差率に関する理論的保証を提供すること。

提案手法

• 非凸最適化によるスパース性の誘導を可能にするために、重みベクトルを $\mathbf{w} = \mathbf{u} \odot \mathbf{u} - \mathbf{v} \odot \mathbf{v}$ とパラメータ化する。
• 非凸パラメータ化を用いて、正則化なしの最小二乗目的関数 $\|\mathbf{X}\mathbf{w} - \mathbf{y}\|_2^2$ に勾配降下を適用する。
• 真の解の精密な推定に応じて増加するステップサイズを用い、収束性とスパース性を向上させる。
• スパースな反復を促進するために、$\mathbf{u}_0$ と $\mathbf{v}_0$ を小さな定数 $\alpha$ で初期化する。
• 過学習を防ぎ、ノイズレベルを超える信号の回復を保証するための基準に基づいて、アルゴリズムを早期に停止する。
• 収束性と誤差の減少を追跡するため、信号列 $\mathbf{s}_t$ と誤差列 $\mathbf{e}_t$ を分析する。

実験結果

リサーチクエスチョン

• RQ1 初期化、ステップサイズ、停止時刻によるimplicit regularizationが、RIPのもとでスパース線形回帰においてミニマックス最適な回復を達成できるか？
• RQ2 提案されたアルゴリズムは、信号対雑音比が高い場合にインスタンスの難易度に適応し、信号が強いほどより良いレートを達成できるか？
• RQ3 明示的な $\ell_1$ 正則化なしにミニマックス最適性を達成するための計算コストはどの程度か？
• RQ4 統計的・計算的効率の観点から、Lassoなどの明示的 $\ell_1$ ペナルティと比較して、このアルゴリズムの性能はどうか？
• RQ5 最小信号の大きさがノイズレベルを超える場合に、この手法は次元に依存しない誤差率を達成できるか？

主な発見

• 制限等方性仮定のもとで、$\ell_2$ 誤差 $\|\widehat{\mathbf{w}} - \mathbf{w}^\star\|_2^2$ のミニマックス最適レート $k\sigma^2\log(d/k)/n$ を達成する。
• 簡単なインスタンスにおいて、真のサポートをオラクルで知る最小二乗法と同等の性能を示し、困難な回復から容易な回復へのフェーズ転移を経験する。
• 信号の最小値が $w^\star_{\min} \gtrsim \|\mathbf{X}^\top \boldsymbol{\xi}\|_\infty / n$ を満たす場合、次元に依存しない誤差率を達成する。これは信号強度への適応性を示している。
• 合計計算コストは $\widetilde{O}(nd)$ であり、多対数因子を除いてデータの読み込みコストと同等である。
• 誤差境界には $w^\star_{\max}$ に対する明示的な依存が含まれており、先行研究が $w^\star_{\max} \lesssim 1$ を仮定していたのとは異なり、より一般的な結果を提供する。
• RIPパラメータ $\delta$ に対するより強い仮定のおかげで、誤差境界に $\log k$ 要素が含まれるよりタイトなレートを達成しており、先行研究を改善している。