[论文解读] Adaptive Lasso and group-Lasso for functional Poisson regression

Stéphane Ivanoff, Franck Picard+1 more|arXiv (Cornell University)|Dec 22, 2014

Bayesian Methods and Mixture Models参考文献 45被引用 28

一句话总结

本文提出了一种基于词典方法的自适应Lasso与组Lasso程序，用于功能性泊松回归，以在高维计数数据中估计强度函数。通过利用泊松特异性集中不等式推导出数据驱动的惩罚权重，该方法在Oracle意义下实现了理论最优性，并在模拟数据和NGS测序数据上表现出强劲的实证性能。

ABSTRACT

High dimensional Poisson regression has become a standard framework for the analysis of massive counts datasets. In this work we estimate the intensity function of the Poisson regression model by using a dictionary approach, which generalizes the classical basis approach, combined with a Lasso or a group-Lasso procedure. Selection depends on penalty weights that need to be calibrated. Standard methodologies developed in the Gaussian framework can not be directly applied to Poisson models due to heteroscedasticity. Here we provide data-driven weights for the Lasso and the group-Lasso derived from concentration inequalities adapted to the Poisson case. We show that the associated Lasso and group-Lasso procedures are theoretically optimal in the oracle approach. Simulations are used to assess the empirical performance of our procedure, and an original application to the analysis of Next Generation Sequencing data is provided.

研究动机与目标

• 解决异方差性背景下的高维泊松回归挑战，其中标准Lasso校准因方差不稳定而失效。
• 构建一种基于词典的框架，推广小波与基函数方法，以实现强度函数的稀疏且灵活的估计。
• 为Lasso与组Lasso引入基于泊松模型的集中不等式推导出的数据驱动惩罚权重，实现理论上的合理性。
• 在一般框架下，通过Oracle不等式建立所提估计量的理论最优性。
• 通过模拟与下一代测序数据的应用，展示方法的实际效用。

提出的方法

• 将对数强度函数建模为来自词典的p个已知基函数的线性组合，以实现灵活且稀疏的表示。
• 应用带有自适应、数据驱动权重的Lasso与组Lasso惩罚，这些权重基于泊松特异性集中不等式推导，以处理异方差性。
• 利用组Lasso捕捉结构化稀疏性，尤其适用于按尺度或基类型（如小波尺度）分组的系数。
• 通过函数不等式界定Kullback-Leibler散度与Hellinger距离，推导出Lasso与组Lasso估计量的Oracle不等式。
• 通过证明组Lasso估计量的风险界在理想Oracle风险的常数因子之内，建立理论最优性。
• 利用Bach（2010）的引理2，通过具有有界导数比的凸函数框架，将Kullback-Leibler散度与Hellinger距离关联起来。

实验结果

研究问题

• RQ1 在异方差性条件下，自适应Lasso与组Lasso能否在泊松回归中实现有效校准？
• RQ2 基于泊松集中不等式推导出的数据驱动惩罚权重是否能带来最优的估计性能？
• RQ3 基于词典的框架结合Lasso/组Lasso能否在高维功能性泊松回归中实现类似Oracle的性能？
• RQ4 组Lasso程序在捕捉功能性数据中结构化稀疏性方面与标准Lasso相比表现如何？
• RQ5 所提组Lasso估计量在泊松设定下的理论性能保证（如Oracle不等式）是什么？

主要发现

• 所提出的自适应Lasso与组Lasso程序在Oracle方法下实现了理论最优性，其中组Lasso估计量满足形式为 $ K(f_0, \widehat{f}^{gL}) \leq (1+\varepsilon)\big(K(f_0,f_\beta) + B(\varepsilon,\mu) \frac{\alpha^2 |J(\beta)|}{\kappa_n^2} (\max_k \lambda_k^g)^2 \big) $ 的Oracle不等式。
• 基于泊松集中不等式推导出的数据驱动惩罚权重确保了Lasso与组Lasso估计量在异方差性存在下仍具有理论最优性。
• 组Lasso估计量在捕捉结构化稀疏性方面优于标准Lasso，尤其当系数按尺度或基类型分组时。
• 模拟结果证实，与经典阈值化与方差稳定化方法相比，所提方法在低计数水平下表现出显著的实证优越性。
• 在下一代测序数据上的应用展示了该方法在真实世界高维计数数据分析中的实际效用。
• 理论界表明，组Lasso估计量的风险在理想Oracle风险的常数因子之内，该常数取决于真实强度函数的光滑性与设计结构。