[论文解读] Distributed learning with regularized least squares

Shao-Bo Lin, Xin Guo+1 more|arXiv (Cornell University)|Aug 11, 2016

Sparse and Compressive Sensing Techniques参考文献 29被引用 72

一句话总结

该论文提出了一种在再生核希尔伯特空间（RKHS）中使用正则化最小二乘法的分布式学习算法，其中数据被划分到多个机器上，本地模型独立训练，通过加权平均形成全局预测器。关键贡献在于提出了一种新颖的算子差值二阶分解方法，建立了 $L^2$ 和 RKHS 范数下期望误差的精确界，表明该分布式估计器在无需特征函数假设的情况下，能紧密逼近集中式解，并在一般核设置下实现了最优的学习率。

ABSTRACT

We study distributed learning with the least squares regularization scheme in a reproducing kernel Hilbert space (RKHS). By a divide-and-conquer approach, the algorithm partitions a data set into disjoint data subsets, applies the least squares regularization scheme to each data subset to produce an output function, and then takes an average of the individual output functions as a final global estimator or predictor. We show with error bounds in expectation in both the $L^2$-metric and RKHS-metric that the global output function of this distributed learning is a good approximation to the algorithm processing the whole data in one single machine. Our error bounds are sharp and stated in a general setting without any eigenfunction assumption. The analysis is achieved by a novel second order decomposition of operator differences in our integral operator approach. Even for the classical least squares regularization scheme in the RKHS associated with a general kernel, we give the best learning rate in the literature.

研究动机与目标

• 分析在再生核希尔伯特空间（RKHS）中，基于正则化最小二乘法的分布式学习的一般化性能。
• 在不假设积分算子具有特征函数展开的前提下，建立基于局部模型平均得到的全局估计器的期望误差界。
• 提出一种新的算子差值二阶分解技术，以实现更紧密的误差分析。
• 推导出在一般核设置下经典正则化最小二乘法方案的最佳已知学习率。

提出的方法

• 将完整数据集 $D$ 划分为 $m$ 个互不相交的子集 $\{D_j\}_{j=1}^m$ 以实现分布式处理。
• 对每个子集 $D_j$ 使用核 $K$ 和正则化参数 $\lambda$ 应用正则化最小二乘估计器 $f_{D_j,\lambda}$。
• 通过局部估计器的加权平均形成全局估计器 $\overline{f}_{D,\lambda} = \sum_{j=1}^m \frac{|D_j|}{|D|} f_{D_j,\lambda}$。
• 采用积分算子方法，将 $\overline{f}_{D,\lambda} - f_{D,\lambda}$ 的差异表示为经验积分算子与总体积分算子的形式。
• 引入一种新颖的算子差值二阶分解方法，以在 $L^2$ 和 RKHS 范数下界定期望误差。
• 利用集中不等式和基于迹的有效维度 $\mathcal{N}(\lambda)$ 的界，推导出高概率和期望误差界。

实验结果

研究问题

• RQ1 在分布式设置下，本地训练的正则化最小二乘模型的平均值在多大程度上能逼近在全量数据集上训练的模型？
• RQ2 能否在不假设积分算子具有特征函数展开的前提下，为分布式正则化最小二乘法建立精确的误差界？
• RQ3 在具有Mercer核的一般RKHS设置下，正则化最小二乘法可实现的最优学习率是多少？
• RQ4 所提出的算子差值二阶分解方法相比先前方法如何改进误差分析？
• RQ5 误差界对划分数量 $m$、样本量 $N$ 和正则化参数 $\lambda$ 的依赖关系如何？

主要发现

• 所提出的分布式学习算法在期望下的误差界与集中式正则化最小二乘法的最佳已知率相匹配，即使在无特征函数假设下也成立。
• 在 $L^2$-范数下的误差被界为 $\mathcal{O}\left(\frac{\kappa^2 \mathcal{N}(\lambda)}{N\lambda}\right)$，其中 $\kappa$ 为核的esssup，$\mathcal{N}(\lambda)$ 为有效维度。
• 在 RKHS 范数下的误差被界为 $\mathcal{O}\left(\frac{\kappa^2 \mathcal{N}(\lambda)}{N}\right)$，表明全局估计器在原生空间中接近真实函数。
• 本文在文献中首次建立了正则化最小二乘法在一般核设置下的最优学习率，满足温和条件下达到 $\mathcal{O}(N^{-1})$。
• 算子差值的二阶分解方法相比先前方法实现了更紧的界，尤其在高维或病态条件设置下表现更优。
• 通过一种新颖的集中不等式（包含 $\log(2/\delta)$ 因子）推导出高概率界，确保在有限样本条件下的鲁棒性。