[论文解读] Hyper-sparse optimal aggregation

Stéphane Gaïffas, Guillaume Lecué|ArXiv.org|Dec 8, 2009

Face and Expression Recognition参考文献 34被引用 9

一句话总结

本文提出了一种超稀疏最优聚合方法，仅使用字典中两个非零系数即可实现最优预测风险，证明了两个是非零系数的最小数量。该文建立了此类两元素聚合的精确Oracle不等式，并将其应用于构造各向异性Besov空间上的自适应估计器，实现了无需先验平滑参数知识的极小极大率。

ABSTRACT

In this paper, we consider the problem of "hyper-sparse aggregation". Namely, given a dictionary $F = \{f_1, ..., f_M \}$ of functions, we look for an optimal aggregation algorithm that writes $ ilde f = \sum_{j=1}^M θ_j f_j$ with as many zero coefficients $θ_j$ as possible. This problem is of particular interest when $F$ contains many irrelevant functions that should not appear in $ ilde{f}$. We provide an exact oracle inequality for $ ilde f$, where only two coefficients are non-zero, that entails $ ilde f$ to be an optimal aggregation algorithm. Since selectors are suboptimal aggregation procedures, this proves that 2 is the minimal number of elements of $F$ required for the construction of an optimal aggregation procedures in every situations. A simulated example of this algorithm is proposed on a dictionary obtained using LARS, for the problem of selection of the regularization parameter of the LASSO. We also give an example of use of aggregation to achieve minimax adaptation over anisotropic Besov spaces, which was not previously known in minimax theory (in regression on a random design).

研究动机与目标

• 开发一种稀疏聚合程序，在保持最优性的同时最小化聚合中非零系数的数量。
• 证明仅使用两个非零系数即可实现最优聚合，确立最优性所需稀疏性的下界。
• 将超稀疏聚合应用于构造各向异性Besov空间上的自适应估计器，实现无需先验平滑参数知识的极小极大率。
• 通过几何论证，提供经验风险最小化选择器次优性的新证明。
• 为两系数聚合建立精确Oracle不等式，确保最优风险界。

提出的方法

• 提出一种超稀疏聚合程序，将聚合构造为字典中仅两个函数的凸组合。
• 推导出两系数聚合的精确Oracle不等式，表明其以高概率实现最优预测风险。
• 使用经验过程理论和嵌入算子的熵数来控制函数类的复杂度。
• 将Oracle不等式应用于惩罚经验风险最小化器（PERM），以构建自适应估计器。
• 利用Mendelson和Neeman（2009）关于正则化学习的结果，将聚合框架与极小极大自适应性联系起来。
• 利用各向异性Besov空间的嵌入关系和熵界（通过Triebel，2006年定理9获得），验证聚合框架的条件(Cβ)。

实验结果

研究问题

• RQ1 能否仅从字典中使用两个非零系数构造出最优聚合程序？
• RQ2 是否可能通过稀疏聚合方法在各向异性Besov空间上实现极小极大自适应性？
• RQ3 为何经验风险最小化（选择器）相比最优聚合是次优的？
• RQ4 最优聚合程序所需的字典元素的最小数量是多少？
• RQ5 如何利用Besov空间嵌入的熵数推导稀疏聚合中的Oracle不等式？

主要发现

• 为两系数聚合建立了精确Oracle不等式，证明其以高概率实现最优预测风险。
• 证明在所有设置中，仅使用两个非零系数是非零系数的最小数量，以实现最优聚合程序。
• 超稀疏聚合在风险方面优于选择器（ERM），证实了经验风险最小化的次优性。
• 该方法实现了各向异性Besov空间上的极小极大自适应性，无需先验平滑参数知识即可达到最优率。
• 通过定理9获得的各向异性Besov空间熵界验证了条件(Cβ)，使Oracle不等式得以应用。
• 该框架成功利用惩罚经验风险最小化器构造出自适应估计器，在随机设计回归中实现了极小极大最优性。