[论文解读] Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network

Zheng-Chu Guo, Lei Shi+1 more|arXiv (Cornell University)|Aug 6, 2017

Neural Networks and Applications被引用 35

一句话总结

本文提出了一种用于分布式回归的偏差校正正则化核网络（BCRKN），通过减少基于核模型中的偏差来提升学习性能。它在单数据和分布式设置下建立了最优误差界和学习速率，证明在适当条件下可实现极小化最大最优收敛速率。

ABSTRACT

Distributed learning is an effective way to analyze big data. In distributed regression, a typical approach is to divide the big data into multiple blocks, apply a base regression algorithm on each of them, and then simply average the output functions learnt from these blocks. Since the average process will decrease the variance, not the bias, bias correction is expected to improve the learning performance if the base regression algorithm is a biased one. Regularization kernel network is an effective and widely used method for nonlinear regression analysis. In this paper we will investigate a bias corrected version of regularization kernel network. We derive the error bounds when it is applied to a single data set and when it is applied as a base algorithm in distributed regression. We show that, under certain appropriate conditions, the optimal learning rates can be reached in both situations.

研究动机与目标

• 解决分布式回归中的偏差问题，即平均操作可降低方差但无法降低偏差，尤其是在使用有偏基学习算法时。
• 通过引入偏差校正变体，提升正则化核网络（RKN）在分布式设置下的学习性能。
• 通过推导单数据与分布式数据场景下的误差界和学习速率，从理论上证明偏差校正RKN（BCRKN）的合理性。
• 证明BCRKN可实现极小化最大最优学习速率，克服标准RKN在样本量增加时出现的饱和效应。
• 通过容量和光滑性假设下的误差界分析，为BCRKN在分布式学习中的优越性提供严格的理论基础。

提出的方法

• 提出一种偏差校正正则化核网络（BCRKN），通过修改标准RKN以减少非线性回归中的估计偏差。
• 在分布式学习框架中，将BCRKN作为基学习器应用于每个数据块，其中数据被划分到多台机器上。
• 通过简单平均所有数据块的BCRKN输出来构建最终全局预测器，从而保持计算效率和数据隐私。
• 基于核函数、容量和目标函数光滑性的假设，推导出单个数据集上BCRKN的误差界。
• 通过将期望误差分解为偏差、方差和近似分量，分析分布式回归中的泛化误差。
• 运用统计学习理论中的工具，包括经验过程理论和特征值衰减假设，以界定期望$ L^2 $-范数与真实函数之间的偏差。

实验结果

研究问题

• RQ1 正则化核网络中的偏差校正是否能提升分布式回归中的泛化性能？
• RQ2 在单数据和分布式学习设置下，BCRKN的误差界和学习速率可建立为何种形式？
• RQ3 在标准光滑性和容量假设下，BCRKN是否能达到极小化最大最优学习速率？
• RQ4 BCRKN如何缓解在样本量增加时标准RKN中观察到的饱和效应？
• RQ5 在何种条件下，尽管存在数据划分，分布式BCRKN框架仍能保持最优收敛速率？

主要发现

• 在适当的光滑性和容量条件下，BCRKN在单数据和分布式回归设置下均可实现极小化最大最优学习速率。
• BCRKN在分布式学习中的误差界呈$ O(|D|^{-rac{2r}{2r+eta}}) $量级，与完整数据情况下的最优速率一致。
• BCRKN降低了标准RKN的偏差，从而缓解了在大规模设置下限制学习性能的饱和效应。
• 理论分析证实，只要块数增长子最优，BCRKN在数据被分割到多台机器时仍能保持最优收敛性。
• 误差界分析表明，方差分量随块数$ m $衰减，而偏差则独立得到校正，从而带来整体性能提升。
• 在假设$ m riangleq |D|^{ min\{\frac{2r-1}{2r+eta}, \frac{2}{2r+eta}\}} $下，学习速率保持最优，且不损失收敛速度。