[論文レビュー] Estimation bounds and sharp oracle inequalities of regularized procedures with Lipschitz loss functions

Pierre Alquier, Vincent Cottet+1 more|arXiv (Cornell University)|Feb 5, 2017

Sparse and Compressive Sensing Techniques参考文献 37被引用数 9

ひとこと要約

本稿は、一般のノルムにおけるリッジ化された経験的リスク最小化に対して、リプシッツ連続な損失関数とベルンシュタイン条件、および複雑さの測度を用いて、鋭い推定誤差バウンドとオラクル不等式を確立する。行列補完（1ビットおよび量子化版を含む）、ロジスティックLASSO/SLOPE、およびカーネル法に対して、応答変数Yのモーメント条件を仮定せず、最小最大最適レートを導出する。

ABSTRACT

We obtain estimation error rates and sharp oracle inequalities for regularization procedures of the form \begin{equation*} \hat f \in argmin_{f\in F}\left(\frac{1}{N}\sum_{i=1}^N\ell(f(X_i), Y_i)+λ\|f\| ight) \end{equation*} when $\|\cdot\|$ is any norm, $F$ is a convex class of functions and $\ell$ is a Lipschitz loss function satisfying a Bernstein condition over $F$. We explore both the bounded and subgaussian stochastic frameworks for the distribution of the $f(X_i)$'s, with no assumption on the distribution of the $Y_i$'s. The general results rely on two main objects: a complexity function, and a sparsity equation, that depend on the specific setting in hand (loss $\ell$ and norm $\|\cdot\|$). As a proof of concept, we obtain minimax rates of convergence in the following problems: 1) matrix completion with any Lipschitz loss function, including the hinge and logistic loss for the so-called 1-bit matrix completion instance of the problem, and quantile losses for the general case, which enables to estimate any quantile on the entries of the matrix; 2) logistic LASSO and variants such as the logistic SLOPE; 3) kernel methods, where the loss is the hinge loss, and the regularization function is the RKHS norm.

研究の動機と目的

• リプシッツ損失関数を用いた正則化された経験的リスク最小化器に対して、一般の推定誤差バウンドと鋭いオラクル不等式を導出すること。
• 応答変数Yのモーメント条件や尾部条件を仮定しない最小限の仮定のもとで、正則化手続きの性能を分析すること。
• 複雑さとスパarsityに基づく単一の理論的枠組みで、行列補完、ロジスティック回帰、カーネル法といった多様な問題を統一的に分析すること。
• 提案された枠組みを用いて、1ビット行列補完やロジスティックLASSOの最小最大最適レートを確立すること。
• ノルムの部分微分可能集合と損失関数のベルンシュタイン条件が統計的性能に与える影響を特定すること。

提案手法

• 一般化された正則化フレームワークを提案：$\hat{f} = \arg\min_{f \in F} \left( \frac{1}{N}\sum_{i=1}^N \ell(f(X_i), Y_i) + \lambda \|f\| \right)$ ここで $\ell$ はリプシッツ連続かつベルンシュタイン条件を満たす。
• 2つの主要な設定を導入：正規分布に近い設計（回帰的設定向け）と有界設計（分類および1ビット問題向け）。
• 損失関数 $\ell$ とノルム $\|\cdot\|$ に依存する複雑さ関数とスパarsity方程式を定義し、モデルの複雑さと部分微分可能集合の構造を捉える。
• スパarsityに依存するバウンド（例：$\ell_1$ や核ノルムなどスパarsityを誘導するノルムの場合）またはノルムに依存するバウンド（スパarsityを誘導しないノルムの場合）を導出する。
• 経験過程理論と集中不等式の道具を用い、特にガウス分布の尾部におけるミルズ比を用いて、重要な期待値の下界を求める。
• 具体的な問題にフレームワークを適用するため、特定の損失関数（ハーフィング、ロジスティック、量子化）とノルム（RKHS、$\ell_1$、核ノルム）に対してベルンシュタイン条件の検証と複雑さ測度の計算を行う。

実験結果

リサーチクエスチョン

• RQ1 応答変数Yのモーメント条件を仮定しない限り、リプシッツ損失関数を用いた正則化手続きに対して、どのような一般の推定誤差バウンドを導出できるか？
• RQ2 統計的収束レートは、損失関数のリプシッツ性、ベルンシュタイン条件、およびノルムの部分微分可能集合の構造の間の相互作用にどのように依存するか？
• RQ3 ハーフィング、ロジスティック、または量子化損失関数のような非二乗損失関数を用いた行列補完について、鋭いオラクル不等式を確立できるか？
• RQ4 提案された枠組みのもとで、ロジスティックLASSOおよびSLOPE推定量の最小最大収束レートは何か？
• RQ5 非スパース正則化（例：SVMにおけるRKHSノルム）は、スパース正則化と同様の理論的ツールで分析可能か、その範囲はどの程度か？

主な発見

• 本稿は、Yのモーメント条件や尾部条件を仮定しないベルンシュタイン条件のもとで、リプシッツ損失関数を用いた正則化手続きに対して鋭いオラクル不等式を確立する。
• ハーフィングまたはロジスティック損失関数を用いた1ビット行列補完において、必要なベルンシュタイン条件と複雑さバウンドを満たすことで、最小最大最適レートが達成されることを示す。
• 行列補完における量子化損失関数が鋭いバウンドを達成できることを示し、行列要素の任意の条件付き分位数の推定が可能となる。
• ロジスティック回帰におけるSLOPE推定量が、提案された枠組みのもとで最小最大最適レートを達成することが証明される。
• ハーフィング損失関数とRKHSノルムを用いたカーネル法に対しても、本フレームワークを適用し、スパarsityを仮定しない非漸近的リスクバウンドを導出する。
• 分析により、ノルムの部分微分可能集合と複雑さ関数が、バウンドがスパarsity依存かノルム依存かを決定することが明らかになった。後者はノルムがスパarsityを誘導しない場合に生じる。