[论文解读] A Survey Of Regression Algorithms And Connections With Deep Learning

Yunpeng Tai|arXiv (Cornell University)|Apr 26, 2021

Advanced Statistical Methods and Models参考文献 62被引用 4

一句话总结

本综述从普通最小二乘法（OLS）出发，全面概述了回归算法，分析其假设、局限性及其演变为现代变体（如岭回归、套索回归和弹性网络）的过程。此外，还探讨了经典回归与深度学习之间的联系，结论认为，将回归的可解释性与深度学习的表征能力相结合，是预测建模未来的一个有前景方向。

ABSTRACT

Regression has attracted immense interest lately due to its effectiveness in tasks like predicting values. And Regression is of widespread use in multiple fields such as Economics, Finance, Business, Biology and so on. While considerable studies have proposed some impressive models, few of them have provided a whole picture regarding how and to what extent Regression has developed. With the aim of aiding beginners in understanding the relationships among different Regression algorithms, this paper characterizes a broad and thoughtful selection of recent regression algorithms, providing an organized and comprehensive overview of existing work and models utilized frequently. In this paper, the relationship between Regression and Deep Learning is also discussed and a conclusion can be drawn that Deep Learning can be more powerful as an combination with Regression models in the future.

研究动机与目标

• 为初学者和研究人员提供系统化、易懂的回归算法概述。
• 阐明经典与现代回归模型之间的关系与区别。
• 分析普通最小二乘法（OLS）的局限性，以及替代回归模型提供的解决方案。
• 探索回归与深度学习之间新兴的协同作用，特别是通过广义回归神经网络（GRNN）等模型。
• 倡导一种结合方法，保留回归的可解释性，同时借助深度学习的表征能力加以增强。

提出的方法

• 本文以OLS作为基础回归方法，分析其六个关键假设及其违反时的后果。
• 系统性地将OLS假设的违反（如多重共线性、异方差性、非线性）映射到特定的回归解决方案（如岭回归、套索回归、多项式变换）。
• 综述中详细讨论了正则化技术——岭回归、套索回归和弹性网络，分别使用L2、L1及组合惩罚项，以提升模型稳定性和泛化能力。
• 研究了广义线性模型（GLMs）以及较少见的方法，如逐步回归，分析其优势与局限性。
• 引入广义回归神经网络（GRNN）作为非参数、基于核的方法用于回归，强调其鲁棒性及计算成本。
• 在概念和结构上对比深度神经网络与回归模型，提出深度学习可被视为回归原理的延伸，具备层次化特征学习能力。

实验结果

研究问题

• RQ1 经典回归模型（如OLS、岭回归、套索回归和弹性网络）在假设和性能方面如何相互关联？
• RQ2 当OLS假设被违反时，具体会产生哪些问题？现代正则化技术如何解决这些问题？
• RQ3 在何种意义上，深度学习可被视为传统回归模型的演进或扩展？
• RQ4 非参数模型（如GRNN）在处理复杂回归任务时的效能如何？其计算权衡是什么？
• RQ5 将经典回归的可解释性与深度学习的表征能力相结合，可能催生哪些未来发展方向？

主要发现

• OLS是回归的基石，其性能仅在满足六个关键假设（线性、独立性、同方差性、正态性、无多重共线性、无自相关）时才能得到保证。
• 当OLS假设被违反时，正则化技术如岭回归（L2）、套索回归（L1）和弹性网络（L1+L2）可提供稳定、低方差的替代方案，从而改善泛化能力。
• 对输入特征进行多项式或非线性变换（如log(x)、sqrt(x)、x²）可解决非线性问题，但需谨慎选择以避免过拟合。
• 逐步回归虽然历史上较受欢迎，但因其检验偏差和过拟合问题而受到批评，正逐渐被集成方法和正则化技术取代。
• GRNN在小样本数据上表现优异，对异常值具有鲁棒性，但其计算复杂度限制了可扩展性，因其推理依赖于完整的训练数据。
• 本文结论认为，深度学习与回归并非竞争范式，而是互补关系：未来模型应整合回归的可解释性与深度学习的特征抽象能力，以构建更强大、可靠且透明的预测系统。