[論文レビュー] Regularization and the small-ball method I: sparse recovery

Guillaume Lecué, Shahar Mendelson|arXiv (Cornell University)|Jan 21, 2016

Numerical methods in inverse problems被引用数 4

ひとこと要約

本稿は、正則化ノルムの幾何学的性質と設計ベクトルのsmall-ball挙動を結びつけることで、スパースリカバリにおける正則化手順の分析のための統一的枠組みを提示する。誤差率は、経験過程の臨界レベル r(ρ) と真の関数近辺におけるペナルティノルム Ψ の部分微分の大きさに依存し、サブガウスまたはサブ指数的ノイズ下で LASSO、SLOPE、トレースノルム正則化に対して鋭いバウンドを導出する。

ABSTRACT

We obtain bounds on estimation error rates for regularization procedures of the form \begin{equation*} \hat f \in { m argmin}_{f\in F}\left(\frac{1}{N}\sum_{i=1}^N\left(Y_i-f(X_i) ight)^2+\lambda \Psi(f) ight) \end{equation*} when $\Psi$ is a norm and $F$ is convex. Our approach gives a common framework that may be used in the analysis of learning problems and regularization problems alike. In particular, it sheds some light on the role various notions of sparsity have in regularization and on their connection with the size of subdifferentials of $\Psi$ in a neighbourhood of the true minimizer. As `proof of concept' we extend the known estimates for the LASSO, SLOPE and trace norm regularization.

研究の動機と目的

• 高次元統計的学習における正則化手順の分析のための共通の理論的枠組みを構築すること。
• ℓ1、SLOPE、トレースノルムといったスパース性誘導ノルムが、スパースリカバリ誤差率を達成する上で果たす役割を明確化すること。
• 推定誤差を支配する主要な幾何学的・確率的パラメータ、特に r(ρ) と ∆(ρ) を同定すること。
• 一般で統一的なアプローチを用いて、LASSO、SLOPE、トレースノルム正則化の既知のバウンドを拡張すること。

提案手法

• 一般正則化スキームを提案： f̂ ∈ argmin_{f∈F} (1/N)∑(Yi−f(Xi))² + λΨ(f)，ここで Ψ はノルムで、F は凸集合。
• Fρ = {f∈F : Ψ(f−f∗)≤ρ} における学習のミニマックス誤差率として、臨界レベル r(ρ) を導入。
• 真の関数 f∗ の近傍における部分微分 ∂Ψ(f) を、f∗ の近傍での部分勾配の大きさを捉える集合 Γf∗(ρ) を用いて分析。
• small-ball 法を用いて経験過程をバウンドし、f∗ と他の候補との分離度を測るパラメータ ∆(ρ) を介して、高確率誤差バウンドを導出。
• チェイングおよびメジャライジング測度技法を用いて、Fρ の複雑さを制御し、r(ρ) と rM(ρ) のバウンドを導出。
• λ を r²(ρ)/ρ に依存させる関係を確立し、設計ベクトルの幾何学的・確率的条件を満たすことで ∆(ρ)≥4ρ/5 を保証することで、明示的な誤差バウンドを導出。

実験結果

リサーチクエスチョン

• RQ1 LASSO、SLOPE、トレースノルム正則化といった多様な正則化手順の分析を統一する1つの枠組みをどのように構築できるか？
• RQ2 ペナルティノルム Ψ の部分微分が推定誤差率を決定する上で果たす正確な役割は何か？
• RQ3 設計ベクトルのsmall-ball特性がスパースリカバリにおける誤差バウンドにどのように影響するか？
• RQ4 ℓ1 またはトレースノルムのようなノルムが、スパース性に直接結びつかないにもかかわらず、なぜスパース性駆動の誤差率をもたらすのか？
• RQ5 高次元設定において、Fρ のメトリック複雑さと経験過程の確率的挙動の間にはどのような相互作用があるか？

主な発見

• LASSO に対しては、λ ∼ ∥ξ∥Lq / √N かつ N ≳ s log(ed/s) のとき、誤差率 ∥t̂−t∗∥²₂ ≲ s log(ed)/N が回復される。ここで ∥ξ∥Lq はノイズレベルを制御する。
• SLOPE に対しては、誤差率はスパース性 s とシーケンス βi に依存し、∥B_s∥ ≲ C√s log(ed/s) が ∆(ρ)≥4ρ/5 を保証する。
• トレースノルム正則化に対しては、誤差率が ∥Â−A∗∥₁ ≲ ∥ξ∥Lq √(max{m,T})/N となる。N ≳ s max{m,T} のとき、s は真の行列のランクである。
• λ ∼ r²(ρ)/ρ を選択することで最適レートが達成され、サブガウスまたはサブ指数的ノイズ下でバウンドが成立する。
• 設計クラスの有効次元 D(V) が高確率的逸脱バウンドを制御し、D(V) ≳1 はクラス内での最大のユークリッド構造を捉える。
• この枠組みは、部分微分の大きさとsmall-ball挙動が、Ψ(f∗) が事前に分かっていない場合でも鋭いバウンドを導出するのに十分であることを示している。