[论文解读] Joint estimation of $K$ related regression models with simple $L_1$-norm penalties

Édouard Ollier, Vivian Viallon|arXiv (Cornell University)|Nov 6, 2014

Statistical Methods and Inference参考文献 24被引用 6

一句话总结

本文提出了一种简单且可实现的方法，通过L1惩罚联合估计K个相关回归模型，将问题重新表述为变换数据上的加权套索（weighted lasso）。该方法可通过标准工具包（如glmnet）实现高效估计，适用于多种模型（例如线性、逻辑斯蒂克、泊松模型），并展现出理论上的Oracle性质以及与最先进方法相当的强经验性能。

ABSTRACT

We propose a new approach, along with refinements, based on $L_1$ penalties and aimed at jointly estimating several related regression models. Its main interest is that it can be rewritten as a weighted lasso on a simple transformation of the original data set. In particular, it does not need new dedicated algorithms and is ready to implement under a variety of regression models, {\em e.g.}, using standard R packages. Moreover, asymptotic oracle properties are derived along with preliminary non-asymptotic results, suggesting good theoretical properties. Our approach is further compared with state-of-the-art competitors under various settings on synthetic data: these empirical results confirm that our approach performs at least similarly to its competitors. As a final illustration, an analysis of road safety data is provided.

研究动机与目标

• 开发一种统一且易于实现的方法，用于联合估计多种不同类型数据下的多个相关回归模型。
• 通过将问题重新表述为加权套索，利用现有标准工具包（如glmnet）实现高效计算。
• 建立理论性质，包括渐近Oracle行为以及初步的非渐近结果。
• 在多种合成设置下与最先进方法进行经验比较。
• 通过一个涉及专家对驾驶员责任评估的道路安全数据应用，展示该方法的实际效用。

提出的方法

• 该方法使用L1惩罚在每个独立模型内诱导稀疏性，并通过鼓励共享结构来实现模型间的相似性。
• 将联合估计问题重新表述为变换数据矩阵上的加权套索，从而可使用标准求解器。
• 证明了系数矩阵B*的解可表示为一个秩一矩阵与一个稀疏矩阵之和。
• 开发了自适应与松弛版本，其中自适应权重基于初始估计值，以提高变量选择的准确性。
• 通过glmnet R包将该方法扩展至广义线性模型（例如逻辑斯蒂克、泊松、Cox模型）。
• 通过与广义融合套索的联系以及现有套索预测与支撑恢复结果，推导出理论性质。

实验结果

研究问题

• RQ1 一种简单的L1惩罚方法能否在理论与经验性能方面，联合估计K个相关回归模型？
• RQ2 与最先进多任务学习方法相比，该方法在估计精度与变量选择方面表现如何？
• RQ3 该方法在多大程度上可使用标准、现成的软件（如glmnet）实现？
• RQ4 所提出方法的理论性质（如Oracle效率与支撑恢复）是什么？
• RQ5 自适应版本在变量选择与预测方面相较于基础方法有何改进？

主要发现

• 在各种设置下的合成数据实验中，所提方法的性能至少与最先进竞争方法相当。
• 该方法可使用标准R工具包（如glmnet）实现，无需自定义算法，可直接应用于线性、逻辑斯蒂克、泊松与Cox模型。
• 自适应版本的渐近Oracle性质已推导得出，表明在正则性条件下具有最优的估计与选择行为。
• 已建立初步的非渐近结果，未来可借助近期关于相关设计下套索理论的成果进一步拓展。
• 在道路安全应用中，该方法确认了18位专家对酒精相关因素的评估结果一致，与标准SAS STEPWISE过程的结果一致。
• 该方法是Dirty模型的简化变体，在某些设定下表现出相当的性能，且可能具有更优的样本复杂度。