[論文レビュー] Regularization and the small-ball method II: complexity dependent error rates

Guillaume Lecué, Shahar Mendelson|arXiv (Cornell University)|Aug 27, 2016

Sparse and Compressive Sensing Techniques参考文献 37被引用数 15

ひとこと要約

本稿は、高次元学習問題における正則化に基づく推定の一般枠組みを構築し、誤差率が真のモデル $F^* = \{f \in F : \Psi(f) \leq \Psi(f^*)\}$ の複雑さに依存することを示している。弱い確率的仮定（特に小さな球条件を含む）のもとで、$\ell_p$、弱-$\ell_p$、アトムノルム、最大ノルム、SLOPE などのさまざまな正則化関数に対して、鋭い複雑さ依存の $L_2$ 推定誤差バウンドを確立している。$F^*$ 内での最小最大レートにほぼ一致するレートが得られている。このアプローチは、$X$ と $Y$ のあらかじめ定められた関係を仮定せず、一般の凸クラス $F$ に適用可能である。主な貢献は、全クラス $F$ の複雑さではなく、真のモデルの内蔵複雑さに推定誤差を結びつける洗練された解析にあり、結果は非漸近的であり、最小限のモーメントおよび尾部仮定のもとで高確率で成立する。

ABSTRACT

For a convex class of functions $F$, a regularization functions $Ψ(\cdot)$ and given the random data $(X_i, Y_i)_{i=1}^N$, we study estimation properties of regularization procedures of the form \begin{equation*} \hat f \in { m argmin}_{f\in F}\Big(\frac{1}{N}\sum_{i=1}^N\big(Y_i-f(X_i)\big)^2+λΨ(f)\Big) \end{equation*} for some well chosen regularization parameter $λ$. We obtain bounds on the $L_2$ estimation error rate that depend on the complexity of the "true model" $F^*:=\{f\in F: Ψ(f)\leqΨ(f^*)\}$, where $f^*\in { m argmin}_{f\in F}\mathbb{E}(Y-f(X))^2$ and the $(X_i,Y_i)$'s are independent and distributed as $(X,Y)$. Our estimate holds under weak stochastic assumptions -- one of which being a small-ball condition satisfied by $F$ -- and for rather flexible choices of regularization functions $Ψ(\cdot)$. Moreover, the result holds in the learning theory framework: we do not assume any a-priori connection between the output $Y$ and the input $X$. As a proof of concept, we apply our general estimation bound to various choices of $Ψ$, for example, the $\ell_p$ and $S_p$-norms (for $p\geq1$), weak-$\ell_p$, atomic norms, max-norm and SLOPE. In many cases, the estimation rate almost coincides with the minimax rate in the class $F^*$.

研究の動機と目的

• 正則化に基づく推定の一般理論を構築し、全関数クラス $F$ の代わりに真のモデル $F^*$ の複雑さを考慮すること。
• 正則化関数 $\Psi$ を用いて定義される $F^*$ の内蔵複雑さに依存する高確率的 $L_2$ 推定誤差バウンドを確立すること。
• 小規模な確率的仮定のもとで、$\ell_p$、弱-$\ell_p$、アトムノルム、最大ノルム、SLOPE など広範な正則化関数を分析すること。
• 結果として得られる誤差レートが、$X$ と $Y$ のパラメトリックまたはスパースな関係を仮定しない状況でも、$F^*$ 内でほぼ最小最大レートに達することを示すこと。
• 小さな球法を正則化設定に拡張し、設計およびノイズの弱いモーメントおよび尾部条件のもとで誤差バウンドを達成すること。

提案手法

• 正則化された経験的リスク最小化（RERM）手順を提案：$\hat{f} \in \arg\min_{f \in F} \left( \frac{1}{N}\sum_{i=1}^N (Y_i - f(X_i))^2 + \lambda \Psi(f) \right)$、ここで $\lambda$ は $F^*$ の複雑さに基づいて選択される。
• 設計 $X_i$ の振る舞いを制御するため、クラス $F$ に対する小さな球条件を導入し、推定に十分な変動性を保証する。
• Rademacher平均および経験過程のモーメントおよび尾部推定を組み合わせたチェイニング型の議論を用い、$F^*$ の構造を活用する。
• 対称化および一般チェイニング技術を適用して $F^*$ 上の経験過程を制御し、メトリックエントロピーおよびガウス複雑度に依存するバウンドを得る。
• 2段階の分解を用いる：$p = t \log d$ とし、$m \sim p / \log(eN/p)$ のしきい値を用いて、経験過程を大きな係数と小さな係数に分割し、重い尾部および高次元設定に対応する。
• 集中不等式（例：ベルヌーイ型および指数的尾部バウンド）を用いて、経験誤差の $\ell_2$ ノルムを制御し、モーメントノルム $\|\cdot\|_{L_q}$ および $\|\cdot\|_{(2p)}$ を用いる。

実験結果

リサーチクエスチョン

• RQ1 正則化手順の推定誤差レートは、全クラス $F$ の代わりに真のモデル $F^*$ の複雑さの観点からどのように特徴づけられるか？
• RQ2 小さな球条件は、弱いモーメント仮定のもとで、一般の凸クラス $F$ に対して鋭い誤差バウンドを可能にする役割を果たすか？
• RQ3 異なる正則化関数（例：$\ell_p$、弱-$\ell_p$、アトムノルム、最大ノルム、SLOPE）は、$F^*$ 内でほぼ最小最大レートに達する推定レートをどれほど達成するか？
• RQ4 小さな球法は、スパース性やパラメトリック構造を仮定しない状況でも、正則化設定に拡張可能で、複雑さ依存の誤差レートを達成できるか？
• RQ5 $F^*$ が $F$ の低複雑さ部分集合であるとき、誤差レートは次元 $d$ および標本サイズ $N$ に対してどのようにスケーリングされるか？また、$\Psi(f^*)$ と $F^*$ の有効次元の間にはどのような関係があるか？

主な発見

• RERM手順の $L_2$ 推定誤差レートは、高確率で $\alpha_N^2 \lesssim u^2 L \|\xi\|_{L_q} \sqrt{N} \sqrt{t \log d} \max_j \|x_j\|_{L_2}$ で有界である。ここで $t \sim \log d$ は $F^*$ の複雑さを制御し、$L$ は小さな球定数である。
• $\Psi(f) = \|f\|_{\ell_p}$（$p \geq 1$）の場合、スパース性を仮定しない状況でも、$F^*$ 上での最小最大レートにほぼ一致する誤差レートが得られる。
• 弱-$\ell_p$ および SLOPE ペナルティの場合、この手法は $f^*$ のスパース構造に適応する誤差レートを達成し、バウンドは真の関数の $\ell_p$ ノルムに依存する。
• 小さな球条件は、$F^*$ 上の経験過程を制御するために十分であり、正規分布的または有界な設計変数を仮定しないでバウンドを達成可能である。
• 誤差レートは $\sqrt{t \log d}$ に比例し、$t$ は $F^*$ のエントロピーに関連しているため、この手法は真のモデルの内蔵複雑さに適応することが示された。
• 結果は最小限の仮定のもとで成立する：小さな球条件およびノイズ $\xi$ のモーメント条件のみを要し、$X$ と $Y$ の関係やパラメトリックモデルを仮定しない。