[论文解读] Fast Penalized Regression and Cross Validation for Tall Data with the oem Package

Jared D. Huling, Peter Z. G. Qian|arXiv (Cornell University)|Jan 29, 2018

Statistical Methods and Inference被引用 8

一句话总结

本论文介绍了 oem 包，这是一个高性能的 R 包，用于在数据量极大（样本数远超变量数）的 'tall' 数据场景下实现快速的惩罚回归与交叉验证。该包利用经过优化的 C++ 和 OpenMP 并行化实现的正交化期望最大化（OEM）算法，能够高效计算多种惩罚（包括套索、MCP 和弹性网络）的调参路径，同时支持超出内存容量的数据处理，使模型可在磁盘上存储的大型数据集上进行拟合。

ABSTRACT

A large body of research has focused on theory and computation for variable selection techniques for high dimensional data. There has been substantially less work in the big tall data paradigm, where the number of variables may be large, but the number of observations is much larger. The orthogonalizing expectation maximization (OEM) algorithm is one approach for computation of penalized models which excels in the big tall data regime. The oem package is an efficient implementation of the OEM algorithm which provides a multitude of computation routines with a focus on big tall data, such as a function for out-of-memory computation, for large-scale parallel computation of penalized regression models. Furthermore, in this paper we propose a specialized implementation of the OEM algorithm for cross validation, dramatically reducing the computing time for cross validation over a naive implementation.

研究动机与目标

• 解决大规模 'tall' 数据集（n ≫ p）中惩罚回归的计算瓶颈问题，该场景相较于高维 p ≫ n 的情形研究较少。
• 构建一个统一且高效的框架，实现多种惩罚回归模型（如套索、MCP、弹性网络）的并行拟合，计算开销极低。
• 通过基于 OEM 的专用交叉验证算法，显著降低交叉验证的时间成本，这是模型选择中的主要瓶颈。
• 支持超出主内存容量的数据集的内存外计算，使在使用磁盘存储的 TB 级数据上拟合模型成为可能。
• 通过集成高效的调参选择机制并提供预计算量（如 XᵀX 和 Xᵀy）的访问，支持实际的模型拟合工作流。

提出的方法

• 使用 Eigen 库在 C++ 中实现正交化期望最大化（OEM）算法，以实现高性能的数值线性代数运算。
• 通过 RcppEigen 提供高效的 R 接口，实现与 R 工作流的无缝集成。
• 利用 OpenMP 实现多 CPU 核心的共享内存并行计算，加速大规模数据集的计算过程。
• 设计专用的交叉验证流程，重用 OEM 算法中的中间计算结果，减少冗余计算，显著缩短交叉验证时间。
• 集成 bigmemory 包，通过引用磁盘上存储的数据实现内存外计算，使模型拟合无需将整个数据集加载到 RAM 中。
• 提供接口以计算预计算统计量（XᵀX、Xᵀy），在数据分布存储或已在 HPC 集群上处理的情况下特别有用。

实验结果

研究问题

• RQ1 在 n ≫ p 的 'tall' 数据场景下，如何使惩罚回归计算更加高效，尤其是在需评估多种惩罚时？
• RQ2 能否构建一个统一框架，以接近单惩罚方法的性能，计算多种惩罚（如套索、MCP、弹性网络）的完整调参路径？
• RQ3 在惩罚回归中，可应用哪些优化来大幅降低交叉验证的计算成本？
• RQ4 如何在数据量超过主内存容量的场景下拟合惩罚回归模型，这对现实世界的大数据应用有何实际影响？
• RQ5 与现有包（如 glmnet、ncvreg 和 gglasso）相比，OEM 算法在线性与逻辑回归场景下，其解的精度和收敛速度有何提升？

主要发现

• oem 包通过重用 OEM 算法中的中间计算结果，显著缩短了交叉验证时间，相较于朴素实现，尤其在 n 较大时实现了惊人的加速。
• 在线性回归中，oem() 的目标函数值精度高于 glmnet、gglasso 和 ncvreg，差异在 10⁻¹⁴ 到 10⁻¹² 量级。
• 在逻辑回归中，oem() 使用完整 Hessian 矩阵时，目标函数值显著低于其他方法，与 glmnet 的差异低至 -7.01×10⁻¹⁴，表明其收敛精度更优。
• oem() 使用 Hessian 上界时，也优于 glmnet（ub）及其他包，在某些情况下目标函数差异可达 -5.48×10⁻³，显示出其鲁棒性与高精度。
• 该包可在仅使用笔记本电脑的情况下，对数百 GB 的数据集实现内存外模型拟合，展示了其可扩展性与实际应用价值。
• 对于已预计算 XᵀX 和 Xᵀy 的数据集，oem 可在不将完整数据加载到内存的情况下实现快速模型拟合，适用于分布式计算环境中的高效分析。