[论文解读] Aggregation for Regression Learning

Florentina Bunea, Alexandre B. Tsybakov+1 more|ArXiv.org|Oct 7, 2004

Statistical Methods and Inference参考文献 37被引用 17

一句话总结

本文提出了一种通用的惩罚最小二乘聚合方法，可同时实现三种回归聚合类型——模型选择、凸组合与线性聚合——的最优收敛速率。通过使用数据驱动的惩罚项（硬阈值与L1型），该方法在所有三种设置下几乎达到最佳可能性能，统一了单一框架下的最优聚合。

ABSTRACT

This paper studies statistical aggregation procedures in regression setting. A motivating factor is the existence of many different methods of estimation, leading to possibly competing estimators. We consider here three different types of aggregation: model selection (MS) aggregation, convex (C) aggregation and linear (L) aggregation. The objective of (MS) is to select the optimal single estimator from the list; that of (C) is to select the optimal convex combination of the given estimators; and that of (L) is to select the optimal linear combination of the given estimators. We are interested in evaluating the rates of convergence of the excess risks of the estimators obtained by these procedures. Our approach is motivated by recent minimax results in Nemirovski (2000) and Tsybakov (2003). There exist competing aggregation procedures achieving optimal convergence separately for each one of (MS), (C) and (L) cases. Since the bounds in these results are not directly comparable with each other, we suggest an alternative solution. We prove that all the three optimal bounds can be nearly achieved via a single "universal" aggregation procedure. We propose such a procedure which consists in mixing of the initial estimators with the weights obtained by penalized least squares. Two different penalities are considered: one of them is related to hard thresholding techniques, the second one is a data dependent $L_1$-type penalty. Consequently, our method can be endorsed by both the proponents of model selection and the advocates of model averaging.

研究动机与目标

• 统一解决三种回归学习问题中的最优聚合：模型选择、凸组合与线性聚合。
• 开发一种单一的通用程序，几乎实现所有三种聚合类型的最优过失风险速率。
• 通过引入具有数据依赖权重的统一惩罚最小二乘框架，克服现有独立程序的局限性。
• 在一般非参数回归设定下，建立所提方法的极小极大最优性。

提出的方法

• 基于惩罚最小二乘法提出一种通用聚合程序，用于估计组合M个估计器的最优权重。
• 采用两种类型的惩罚：一种与硬阈值相关，另一种为L1型，用于数据依赖性正则化。
• 通过最小化惩罚后的经验风险来选择权重，以在拟合度与复杂度之间取得平衡。
• 该方法构建一个聚合估计器，其性能可模仿（L）、（C）或（MS）Oracle，具体取决于约束集。
• 使用一组有限的候选函数，并利用集中不等式控制过失风险。
• 推导出Oracle不等式，将过失风险以最优速率加上余项的形式进行有界。

实验结果

研究问题

• RQ1 是否可设计一种单一聚合程序，在回归中同时实现模型选择、凸组合与线性聚合的近乎最优速率？
• RQ2 何种惩罚结构可实现对不同类型估计器的统一最优聚合方法？
• RQ3 所提通用方法的性能与现有针对特定问题的聚合程序相比如何？
• RQ4 在一般非参数回归模型下，所提聚合方法的极小极大收敛速率是多少？
• RQ5 数据依赖性惩罚是否可在不了解底层模型的情况下，确保在不同聚合类型中实现最优自适应？

主要发现

• 所提的惩罚最小二乘程序可同时实现三种聚合类型——模型选择、凸组合与线性聚合——的近乎最优过失风险速率。
• 该方法采用通用框架，在无需事先知晓聚合类型的情况下自适应于最优速率。
• 过失风险被有界为最优速率加上一个与各独立问题中已知最优速率同阶的余项。
• 在模型选择聚合中，该方法在适当条件下实现了 (M/n) log(M/n) 阶的收敛速率。
• 在线性与凸组合聚合中，该方法达到了 M/n 阶的最优速率，与已知的极小极大下界一致。
• 采用数据依赖的L1型与硬阈值惩罚，确保了在不同设定下的自适应性与极小极大最优性。