[论文解读] Longitudinal LASSO: Jointly Learning Features and Temporal Contingency for Outcome Prediction

Tingyang Xu, Jiangwen Sun+1 more|arXiv (Cornell University)|Oct 23, 2016

Tensor decomposition and applications参考文献 17被引用 6

一句话总结

本文提出纵向LASSO（Longitudinal LASSO），一种新颖方法，通过将模型参数分解为特征选择与时间依赖性两部分，并分别施加块状LASSO正则化，联合学习影响纵向数据结果的相关特征与时间滞后。该方法建模了个体内部的相关性，并采用加速梯度下降法实现全局收敛，在合成数据集和真实世界数据集（包括NLSY）上的表现优于GEE、RE-EM树和Granger建模。

ABSTRACT

Longitudinal analysis is important in many disciplines, such as the study of behavioral transitions in social science. Only very recently, feature selection has drawn adequate attention in the context of longitudinal modeling. Standard techniques, such as generalized estimating equations, have been modified to select features by imposing sparsity-inducing regularizers. However, they do not explicitly model how a dependent variable relies on features measured at proximal time points. Recent graphical Granger modeling can select features in lagged time points but ignores the temporal correlations within an individual's repeated measurements. We propose an approach to automatically and simultaneously determine both the relevant features and the relevant temporal points that impact the current outcome of the dependent variable. Meanwhile, the proposed model takes into account the non-{\em i.i.d} nature of the data by estimating the within-individual correlations. This approach decomposes model parameters into a summation of two components and imposes separate block-wise LASSO penalties to each component when building a linear model in terms of the past $τ$ measurements of features. One component is used to select features whereas the other is used to select temporal contingent points. An accelerated gradient descent algorithm is developed to efficiently solve the related optimization problem with detailed convergence analysis and asymptotic analysis. Computational results on both synthetic and real world problems demonstrate the superior performance of the proposed approach over existing techniques.

研究动机与目标

• 为解决现有纵向模型在结果预测中无法联合识别相关特征及其时间依赖性的缺陷。
• 对重复纵向测量中的个体内部相关性进行建模，而这类相关性常被标准方法忽略或过度简化。
• 开发一个统一框架，同时选择有影响力的协变量及其相关滞后时间点，以预测当前结果。
• 通过显式建模时间依赖性与相关性结构，提升预测准确性，优于标准的惩罚GEE与图模型Granger方法。
• 提供一种一致且收敛的优化算法，用于求解联合特征与时间选择问题。

提出的方法

• 模型将系数矩阵分解为两部分：一部分用于特征选择，另一部分用于时间依赖性，各自施加独立的块状LASSO惩罚。
• 该方法基于过去τ个时间点的特征值建立线性模型，通过加速梯度下降算法估计参数。
• 引入工作相关结构（如AR(1)、交换对称、三对角）以考虑个体内部相关性，提升模型鲁棒性。
• 使用加速梯度法求解优化问题，具有已证明的全局收敛性与二次收敛速率。
• 该方法同时估计特征选择矩阵（U）与时间依赖性矩阵（V），并引入第三个矩阵（W）以建模残差相关性。
• 该公式在渐近分析下可实现模型参数的一致估计，确保统计可靠性。

实验结果

研究问题

• RQ1 在纵向数据中，哪些特征及其过去哪些时间点最能预测当前结果？
• RQ2 如何在考虑个体内部相关性的同时，联合识别相关特征及其时间依赖性？
• RQ3 统一的正则化框架是否能在纵向结果预测中优于GEE与图模型Granger建模等现有方法？
• RQ4 与假设独立性或简单相关结构相比，建模个体内部相关性如何提升预测准确性？
• RQ5 所提出的优化算法的收敛行为与统计一致性如何？

主要发现

• 在NLSY数据集上，采用三对角工作相关结构的纵向LASSO（LGL）在所有测试场景中均优于GEE、RE-EM树与Granger建模。
• 当使用三年滞后数据与三对角相关结构时，LGL的测试nMSE为0.883617，显著低于相同条件下GEE的0.892633。
• 该方法从NLSY数据集的26个特征中筛选出12个关键特征，包括吸烟、药物使用、教育水平与家庭背景，这些特征被证实影响暴饮行为。
• V矩阵的灰度图显示仅过去两年的数据被选中用于预测，表明更早的滞后时间点相关性较低，验证了时间依赖性学习的有效性。
• 在独立相关性假设下，LGL表现最差，表明建模个体内部相关性可显著提升预测性能。
• 加速梯度下降算法实现了全局收敛且具有二次收敛速率，渐近分析证实了估计参数的一致性。