[论文解读] Deep Learning and MARS: A Connection

Michael Köhler, Adam Krzyżak+1 more|arXiv (Cornell University)|Aug 29, 2019

Gaussian Processes and Bayesian Inference参考文献 40被引用 12

一句话总结

本文建立了深度神经网络与多元自适应回归样条（MARS）之间的理论联系，表明深度学习估计量在对数因子范围内实现了Oracle最优误差率。当潜在回归函数为局部低维时，该方法可实现有效的降维，在模拟和真实数据中均优于传统非参数方法。

ABSTRACT

We consider least squares regression estimates using deep neural networks. We show that these estimates satisfy an oracle inequality, which implies that (up to a logarithmic factor) the error of these estimates is at least as small as the optimal possible error bound which one would expect for MARS in case that this procedure would work in the optimal way. As a result we show that our neural networks are able to achieve a dimensionality reduction in case that the regression function locally has low dimensionality. This assumption seems to be realistic in real-world applications, since selected high-dimensional data are often confined to locally-low-dimensional distributions. In our simulation study we provide numerical experiments to support our theoretical results and to compare our estimate with other conventional nonparametric regression estimates, especially with MARS. The use of our estimates is illustrated through a real data analysis.

研究动机与目标

• 建立深度神经网络与非参数回归中MARS之间的理论联系。
• 证明深度学习估计量的误差率可达到MARS最优性能的对数因子范围内。
• 探究深度神经网络在高维数据中是否能利用局部低维结构。
• 通过模拟和真实数据，将所提出的深度学习估计量与传统非参数方法（尤其是MARS）进行比较。

提出的方法

• 本文采用深度神经网络进行最小二乘回归，以估计未知回归函数。
• 推导了深度学习估计量的Oracle不等式，表明其风险在对数因子范围内被最优MARS风险所控制。
• 该方法依赖于回归函数为局部低维的假设，从而实现有效的降维。
• 理论分析利用神经网络逼近的性质，将结果与MARS性能边界联系起来。
• 通过数值实验和真实数据分析验证理论发现，并与MARS及其他非参数估计器进行比较。

实验结果

研究问题

• RQ1 深度神经网络能否实现与MARS理论上最优性能相当的误差率？
• RQ2 深度学习在多大程度上可利用高维数据中的局部低维结构？
• RQ3 在有限样本设置下，深度学习估计量与MARS及其他非参数方法相比表现如何？
• RQ4 在局部维度约束下，深度学习在回归任务中可建立何种理论保证？

主要发现

• 深度学习估计量满足Oracle不等式，确保其误差至多比最优MARS性能差一个对数因子。
• 当回归函数为局部低维时，该方法能有效实现降维，这在真实世界数据中较为常见。
• 模拟结果表明，深度学习估计量在各种场景下均优于或至少不劣于传统非参数方法（包括MARS）。
• 真实数据分析表明，所提出的深度学习方法在回归任务中具有实际应用价值和鲁棒性。