[论文解读] Estimation bounds and sharp oracle inequalities of regularized procedures with Lipschitz loss functions

Pierre Alquier, Vincent Cottet+1 more|arXiv (Cornell University)|Feb 5, 2017

Sparse and Compressive Sensing Techniques参考文献 37被引用 9

一句话总结

该论文在一般范数下，针对具有Lipschitz损失函数的正则化经验风险最小化，通过利用Bernstein条件和复杂度度量，建立了精确的估计误差界和Oracle不等式。它推导出矩阵补全（包括1-bit和分位数变体）、逻辑斯蒂LASSO/SLOPE以及核方法的极小极大最优速率，且无需对响应变量Y施加矩条件或参数模型假设。

ABSTRACT

We obtain estimation error rates and sharp oracle inequalities for regularization procedures of the form \begin{equation*} \hat f \in argmin_{f\in F}\left(\frac{1}{N}\sum_{i=1}^N\ell(f(X_i), Y_i)+λ\|f\| ight) \end{equation*} when $\|\cdot\|$ is any norm, $F$ is a convex class of functions and $\ell$ is a Lipschitz loss function satisfying a Bernstein condition over $F$. We explore both the bounded and subgaussian stochastic frameworks for the distribution of the $f(X_i)$'s, with no assumption on the distribution of the $Y_i$'s. The general results rely on two main objects: a complexity function, and a sparsity equation, that depend on the specific setting in hand (loss $\ell$ and norm $\|\cdot\|$). As a proof of concept, we obtain minimax rates of convergence in the following problems: 1) matrix completion with any Lipschitz loss function, including the hinge and logistic loss for the so-called 1-bit matrix completion instance of the problem, and quantile losses for the general case, which enables to estimate any quantile on the entries of the matrix; 2) logistic LASSO and variants such as the logistic SLOPE; 3) kernel methods, where the loss is the hinge loss, and the regularization function is the RKHS norm.

研究动机与目标

• 推导具有Lipschitz损失函数的正则化经验风险最小化器的一般估计误差界和精确Oracle不等式。
• 在最小假设下分析正则化程序的性能——具体而言，对响应变量Y不施加矩条件或尾部条件。
• 通过基于复杂度和稀疏性的统一理论框架，统一分析多种问题（矩阵补全、逻辑斯蒂回归、核方法）。
• 利用所提出的框架，为特定问题（如1-bit矩阵补全和逻辑斯蒂LASSO）建立极小极大最优速率。
• 阐明范数的次微分和损失函数的Bernstein条件在决定统计性能中的作用。

提出的方法

• 提出一个通用的正则化框架：$\hat{f} = \arg\min_{f \in F} \left( \frac{1}{N}\sum_{i=1}^N \ell(f(X_i), Y_i) + \lambda \|f\| \right)$，其中$\ell$为Lipschitz函数且满足Bernstein条件。
• 引入两种主要设置：次高斯设计（适用于回归类设置）和有界设计（适用于分类和1-bit问题）。
• 定义一个依赖于损失$\ell$和范数$\|\cdot\|$的复杂度函数和稀疏性方程，以捕捉模型复杂度和次微分结构。
• 推导出依赖于稀疏性的界（当范数诱导稀疏性时，例如$\ell_1$或核范数）或依赖于范数的界（当范数不诱导稀疏性时）。
• 使用经验过程理论和集中不等式工具，特别是利用高斯尾部的Mills比率来下界化关键期望。
• 通过验证Bernstein条件并计算特定损失（合页、逻辑斯蒂、分位数）和范数（RKHS、$\ell_1$、核范数）的复杂度度量，将该框架应用于具体问题。

实验结果

研究问题

• RQ1 在不假设响应变量矩条件的前提下，能否为具有Lipschitz损失函数的正则化程序推导出一般估计误差界？
• RQ2 统计收敛速率如何依赖于损失函数的Lipschitz性质、Bernstein条件以及范数的次微分结构之间的相互作用？
• RQ3 能否为具有非二次损失（如合页、逻辑斯蒂或分位数损失）的矩阵补全建立精确的Oracle不等式？
• RQ4 在所提出的框架下，逻辑斯蒂LASSO和SLOPE估计器的极小极大收敛速率是什么？
• RQ5 在多大程度上，非稀疏正则化（例如SVM中的RKHS范数）可以使用与稀疏情况相同的理论工具进行分析？

主要发现

• 该论文在Bernstein条件下，为具有Lipschitz损失的正则化程序建立了精确的Oracle不等式，且无需对$Y$施加矩条件或尾部假设。
• 对于使用合页或逻辑斯蒂损失的1-bit矩阵补全，通过验证所需的Bernstein条件和复杂度界，该方法实现了极小极大最优速率。
• 研究表明，分位数损失在矩阵补全中可实现精确界，从而能够估计矩阵元素的任意条件分位数。
• 在所提出的框架下，逻辑斯蒂回归的SLOPE估计器被证明可实现极小极大最优速率。
• 该框架适用于使用合页损失和RKHS范数的核方法，无需假设稀疏性即可获得非渐近风险界。
• 分析表明，范数的次微分结构和复杂度函数决定了界是依赖于稀疏性还是依赖于范数，当范数不诱导稀疏性时，后者情形出现。