[论文解读] Fast local linear regression with anchor regularization

Mathis Petrovich, Makoto Yamada|arXiv (Cornell University)|Feb 21, 2020

Sparse and Compressive Sensing Techniques参考文献 25被引用 7

一句话总结

本文提出了一种计算高效的局部回归模型——快速锚点正则化局部线性（FALL）方法，通过使用预先计算的锚点模型对每个样本的局部线性模型进行正则化。该方法通过矩阵乘法实现闭式解，训练速度比网络Lasso快两个数量级，同时在合成数据集和真实世界数据集上保持了最先进水平的准确率。

ABSTRACT

Regression is an important task in machine learning and data mining. It has several applications in various domains, including finance, biomedical, and computer vision. Recently, network Lasso, which estimates local models by making clusters using the network information, was proposed and its superior performance was demonstrated. In this study, we propose a simple yet effective local model training algorithm called the fast anchor regularized local linear method (FALL). More specifically, we train a local model for each sample by regularizing it with precomputed anchor models. The key advantage of the proposed algorithm is that we can obtain a closed-form solution with only matrix multiplication; additionally, the proposed algorithm is easily interpretable, fast to compute and parallelizable. Through experiments on synthetic and real-world datasets, we demonstrate that FALL compares favorably in terms of accuracy with the state-of-the-art network Lasso algorithm with significantly smaller training time (two orders of magnitude).

研究动机与目标

• 为解决网络Lasso这一最先进局部线性回归方法的高计算成本，提出一种更快的替代方法。
• 为复杂非线性数据提供高效、可扩展且可解释的局部线性建模方法。
• 开发一种在显著降低训练时间的同时保持高预测准确率的局部回归方法，相比现有方法具有显著优势。
• 为带正则化的局部线性回归提供闭式解，实现快速且可并行计算。

提出的方法

• FALL方法为每个样本训练一个局部线性模型，该模型通过预先计算的锚点模型（代表聚类中心）进行正则化。
• 其优化问题引入了锚点正则化项，促使局部模型与其对应锚点模型保持接近。
• 该方法通过矩阵乘法推导出闭式解，避免了迭代优化，实现在预处理后每个样本的计算复杂度为O(1)。
• 锚点模型通过聚类或采样预先计算，作为局部模型正则化的参考点。
• 由于其局部线性结构，该方法支持外推，即使在远离训练数据的输入上也表现良好。
• 该方法高度可并行化，因为锚点模型计算完成后，每个局部模型可独立计算。

实验结果

研究问题

• RQ1 是否能够实现一种具有闭式解的局部线性回归模型，其训练速度显著快于网络Lasso？
• RQ2 锚点正则化是否能提升在复杂非线性数据集上的泛化能力和预测准确率？
• RQ3 该方法是否能在保持最先进性能和可扩展性的同时维持可解释性？
• RQ4 与KNN、KRR、Ridge、Lasso及网络Lasso相比，FALL方法在训练时间和准确率方面的表现如何？
• RQ5 由于其闭式结构，该方法是否能够高效地通过新训练数据进行更新？

主要发现

• FALL在Concrete Compressive Strength、Superconductivity、QSAR Aquatic Toxicity和Parkinson’s Telemonitoring数据集上均达到了最先进水平的预测准确率。
• 在Concrete Compressive Strength数据集上，FALL在均方误差方面显著优于所有基线方法，包括网络Lasso。
• FALL的训练时间比网络Lasso快两个数量级，在某些实验中甚至实现了500倍的加速。
• FALL在保持与KNN相当的高准确率的同时，效率远超KNN，证明了局部线性模型可以兼具准确性和可扩展性。
• 该方法成功处理了大规模数据集（如Superconductivity数据集，n=21,263），而网络Lasso因内存限制无法处理。
• 闭式解支持高效增量更新新训练数据，适用于动态环境中的实际部署。