[论文解读] Dimensionally Distributed Learning: Models and Algorithm

Haipeng Zheng, Sanjeev R. Kulkarni+1 more|ArXiv.org|Jul 18, 2008

Neural Networks and Applications参考文献 7被引用 10

一句话总结

该论文提出了一种针对维度分布数据的回归协作式分布式学习框架，引入了迭代条件期望算法（ICEA），在不传输原始数据的前提下，联合优化各参与方的估计器。在高斯假设下，ICEA 对于双参与方系统具有收敛性，其收敛速率受特征相关系数四次方的限制，从而可通过迭代优化条件期望，高效学习复杂且非线性的隐藏规则。

ABSTRACT

This paper introduces a framework for regression with dimensionally distributed data with a fusion center. A cooperative learning algorithm, the iterative conditional expectation algorithm (ICEA), is designed within this framework. The algorithm can effectively discover linear combinations of individual estimators trained by each agent without transferring and storing large amount of data amongst the agents and the fusion center. The convergence of ICEA is explored. Specifically, for a two agent system, each complete round of ICEA is guaranteed to be a non-expansive map on the function space of each agent. The advantages and limitations of ICEA are also discussed for data sets with various distributions and various hidden rules. Moreover, several techniques are also designed to leverage the algorithm to effectively learn more complex hidden rules that are not linearly decomposable.

研究动机与目标

• 开发一种在数据特征被分配至多个参与方且存在中央融合中心时的回归协作学习框架。
• 设计一种算法，避免在参与方与融合中心之间传输或存储大量原始数据。
• 实现对复杂、非线性且无法在特征间线性分解的隐藏规则的有效学习。
• 在特定分布假设下，为所提出的算法建立理论收敛保证。
• 探索分布式回归设置下性能、复杂度与通信效率之间的权衡。

提出的方法

• 该框架将 M 个特征分布在 D 个参与方之间，每个参与方访问其局部特征子集，由融合中心协调学习过程。
• ICEA 通过计算给定本地特征下全局目标函数的条件期望，迭代更新每个参与方的本地估计器。
• 该算法将每个参与方的估计器视为其本地特征的函数，并通过融合中心利用其他参与方的信息进行优化。
• 在理论分析中，假设参与方能够基于其本地数据和全局隐藏规则计算最优最小均方误差（MMSE）估计器。
• 在联合高斯假设下，通过基于特征间相关性的压缩映射论证，证明了双参与方系统的收敛性。
• 该算法利用多项式基展开与正交分解来建模非线性隐藏规则，其收敛速率取决于特征相关系数的平方。

实验结果

研究问题

• RQ1 能否设计一种适用于维度分布回归的协作学习算法，避免原始数据传输，同时实现良好性能？
• RQ2 在现实数据假设下，此类协作算法的理论收敛保证可建立为何种形式？
• RQ3 特征间的相关性如何影响分布式学习算法的收敛速率？
• RQ4 该算法能否有效学习非线性、不可分解的隐藏规则，这些规则无法表示为本地估计器的简单线性组合？
• RQ5 该框架在通信效率、计算复杂度与估计精度方面的实际限制与权衡是什么？

主要发现

• 对于具有联合高斯特征的双参与方系统，ICEA 可保证收敛，其收敛速率受特征间相关系数四次方的限制。
• ICEA 中的迭代更新过程在每个参与方的函数空间上为非扩张映射，确保在给定假设下的稳定性和收敛性。
• 对于有限阶次、零均值的多项式隐藏规则，ICEA 保持估计器位于零均值多项式空间内，从而保持问题的结构特性。
• 通过迭代优化条件期望，该算法能有效学习复杂且非线性的隐藏规则，即使真实规则无法线性分解。
• 收敛因子为 ρ⁴，其中 ρ 为特征间的相关系数，表明相关性越高，收敛越快。
• 隐藏规则中的偏置项独立处理，且在迭代过程中保持不变，不影响函数更新的收敛性。