[论文解读] A Statistical Learning Approach to Modal Regression

Yunlong Feng, Jun Fan+1 more|arXiv (Cornell University)|Feb 20, 2017

Advanced Adaptive Filtering Techniques参考文献 53被引用 16

一句话总结

本文在统计学习框架下通过经验风险最小化（ERM）形式化了非参数模值回归，表明带宽趋近于零时的最大核相关准则收敛于模值回归。在较弱条件下建立了函数估计的一致性和收敛性，为通过模值估计实现鲁棒回归提供了一个理论基础坚实且计算上可行的方法。

ABSTRACT

This paper studies the nonparametric modal regression problem systematically from a statistical learning view. Originally motivated by pursuing a theoretical understanding of the maximum correntropy criterion based regression (MCCR), our study reveals that MCCR with a tending-to-zero scale parameter is essentially modal regression. We show that nonparametric modal regression problem can be approached via the classical empirical risk minimization. Some efforts are then made to develop a framework for analyzing and implementing modal regression. For instance, the modal regression function is described, the modal regression risk is defined explicitly and its extit{Bayes} rule is characterized; for the sake of computational tractability, the surrogate modal regression risk, which is termed as the generalization risk in our study, is introduced. On the theoretical side, the excess modal regression risk, the excess generalization risk, the function estimation error, and the relations among the above three quantities are studied rigorously. It turns out that under mild conditions, function estimation consistency and convergence may be pursued in modal regression as in vanilla regression protocols, such as mean regression, median regression, and quantile regression. However, it outperforms these regression models in terms of robustness as shown in our study from a re-descending M-estimation view. This coincides with and in return explains the merits of MCCR on robustness. On the practical side, the implementation issues of modal regression including the computational algorithm and the tuning parameters selection are discussed. Numerical assessments on modal regression are also conducted to verify our findings empirically.

研究动机与目标

• 开发非参数模值回归的严格统计学习理论，该领域在文献中尚未得到充分探索。
• 证明模值回归可被表述为经验风险最小化问题，从而实现理论分析和算法实现。
• 为模值回归估计器建立泛化界和一致性结果，类似于均值、中位数和分位数回归中的结果。
• 澄清最大核相关准则（MCCR）与模值回归之间的理论联系，特别是在核带宽趋于零时的情形。
• 提供一个实用的实现框架，包括调参选择和计算算法，并在合成数据和真实世界数据上进行了验证。

提出的方法

• 通过基于给定输入下响应的条件模值定义模值回归风险，将模值回归重新表述为经验风险最小化（ERM）问题。
• 引入一个代理的“泛化风险”以确保计算上的可操作性，该风险近似真实模值回归风险。
• 使用核密度估计（KDE）来估计条件密度并定位其模值，从而实现条件模值函数的非参数估计。
• 在再生核希尔伯特空间（RKHS）上应用经验风险最小化原则，以学习模值回归函数。
• 推导出过剩模值回归风险、过剩泛化风险和函数估计误差的理论界，在较弱的正则性条件下建立了其一致性。
• 提出一种基于核岭回归的计算算法，并通过交叉验证选择带宽，在交通监控获取的速度-流量数据上进行了验证。

实验结果

研究问题

• RQ1 模值回归能否在统计学习理论的经验风险最小化框架下系统性地表述？
• RQ2 最大核相关准则（MCCR）与模值回归之间存在何种理论关系，特别是在核带宽趋于零时？
• RQ3 在何种条件下，模值回归估计器在L²(X)范数下实现函数估计的一致性和收敛性？
• RQ4 所提出的泛化风险框架如何确保对异常值和重尾噪声的鲁棒性？
• RQ5 模值回归的实际实现面临哪些挑战？如何有效选择调参？

主要发现

• 模值回归可严格表述为经验风险最小化问题，从而为非参数模值估计建立统计学习理论框架。
• 当带宽参数趋近于零时，最大核相关准则收敛于模值回归问题，解释了其对重尾和偏态噪声的鲁棒性。
• 在较弱正则性条件下，模值回归估计器在L²(X)范数下实现函数估计的一致性和收敛性，与均值和中位数回归类似。
• 所提出的泛化风险框架确保估计器既具备泛化一致性又保持校准性，并提供了过剩风险的理论界。
• 在合成数据和真实交通速度-流量数据上的数值实验表明，模值回归估计器对异常值不敏感，且比均值回归更能准确捕捉潜在趋势。
• 该方法与维度无关，适用于高维场景，因为ERM表述不依赖于输入维度。