[論文レビュー] Minimum 𝓁 1 -norm interpolation via basis pursuit is robust to errors.

Geoffrey Chinot, Matthias Löffler+1 more|arXiv (Cornell University)|Dec 1, 2020

Sparse and Compressive Sensing Techniques被引用数 6

ひとこと要約

本稿では、i.i.d. かつガウス分布に従う特徴量の数が標本サイズに対して超線形的に増加する限り、任意の加法的誤差が存在する状況下でも、basis pursuit（最小 ℓ₁-ノルム補間）が真の回帰係数を安定して回復できることを確立している。ユークリッドノルムでの誤差が平均ノイズレベルに比例することを示しており、誤差構造に関する仮定なしに近似的に最適なロバスト性を示している。

ABSTRACT

This article studies basis pursuit, i.e. minimum $\ell_1$-norm interpolation, in sparse linear regression with additive errors. No conditions on the errors are imposed. It is assumed that the number of i.i.d. Gaussian features grows superlinear in the number of samples. The main result is that under these conditions the Euclidean error of recovering the true regressor is of the order of the average noise level. Hence, the regressor recovered by basis pursuit is close to the truth if the average noise level is small. Lower bounds that show near optimality of the results complement the analysis. In addition, these results are extended to low rank trace regression. The proofs rely on new lower tail bounds for maxima of Gaussians vectors and the spectral norm of Gaussian matrices, respectively, and might be of independent interest as they are significantly stronger than the corresponding upper tail bounds.

研究の動機と目的

• 任意の加法的誤差が存在する状況下での basis pursuit のロバスト性を分析すること。
• 誤差分布に関する仮定を一切行わない状況で、回復された回帰係数の誤差バウンドを確立すること。
• basis pursuit が近似的に最適な回復性能を達成するための条件を調査すること。
• 低ランクトレース回帰設定への分析の拡張。
• 理論的結果を支える新しい確率的バウンド（ガウス分布の最大値およびスペクトルノルムに関するもの）を導出すること。

提案手法

• 回帰係数の ℓ₁-ノルム最小化として定義される basis pursuit を用いて、ノイズのある観測からスパース信号を回復する。
• 標本数に対して特徴量数が超線形的に増加するという条件を採用する。
• ガウス分布に従うベクトルの最大値およびガウス行列のスペクトルノルムに関する新しい下側尾部バウンドを導出する。
• これらのバウンドを用いて、推定回帰係数と真の回帰係数とのユークリッドノルムでの乖離を制御する。
• 類似する ℓ₁-最小化技術を用いて、トレース回帰による低ランク行列回復へのフレームワークの拡張。
• 標準的な上側尾部バウンドよりも強い、濃縮不等式および尾部バウンドに依存する。

実験結果

リサーチクエスチョン

• RQ1 誤差が任意で構造のない状況下で、basis pursuit はどのようにスパース線形回帰において動作するか？
• RQ2 ノイズが存在する中で ℓ₁-正則化解が真の回帰係数に近くなるための条件は何か？
• RQ3 サブガウス分布や有界誤差分布の仮定なしに、回復誤差を平均ノイズレベルの関数としてバウンドできるか？
• RQ4 導出された誤差バウンドはどの程度最適であり、理論的下限バウンドと比較してどうなるか？
• RQ5 類似する保証が得られるように、トレース回帰による低ランク行列回復への分析を拡張できるか？

主な発見

• 誤差分布に関する仮定なしに、basis pursuit 評価のユークリッドノルム誤差は平均ノイズレベルの定数倍で抑えられる。
• 回復誤差が平均ノイズレベルに比例することから、任意の加法的誤差に対してロバストであることが示された。
• 理論的バウンドは、本稿で導出された一致する下限バウンドによって裏付けられ、ほぼ最適である。
• ガウス分布に従うベクトルの最大値およびガウス行列のスペクトルノルムに関する、既存の上側尾部バウンドよりも強い新しい下側尾部バウンドが確立された。
• 結果は低ランクトレース回帰へも拡張可能であり、類似する条件下で同様のロバスト性を示した。
• 導出された確率的バウンドは独立しての価値が高く、スパース回復の応用を超えて応用が期待される。