[论文解读] COKE: Communication-Censored Kernel Learning for Decentralized Non-parametric Learning.

Ping Xu, Yue Wang+2 more|arXiv (Cornell University)|Jan 28, 2020

Distributed Sensor Networks and Detection Algorithms被引用 8

一句话总结

COKE 提出了一种用于去中心化非参数学习的通信抑制核学习框架，通过随机特征近似实现参数大小一致的交换与跨代理共识，且无需共享原始数据。该方法基于交替方向乘子法（ADMM）并结合自适应传输机制，实现了线性收敛和优异的通信效率，在合成数据集和真实数据集上均得到验证。

ABSTRACT

This paper studies the decentralized optimization and learning problem where multiple interconnected agents aim to learn an optimal decision function defined over a reproducing kernel Hilbert (RKH) space by jointly minimizing a global objective function, with access to locally observed data only. As a non-parametric approach, kernel learning faces a major challenge in distributed implementation: the decision variables of local objective functions are data-dependent with different sizes and thus cannot be optimized under the decentralized consensus framework without any raw data exchange among agents. To circumvent this major challenge and preserve data privacy, we leverage the random feature (RF) approximation approach to map the large-volume data represented in the RKH space into a smaller RF space, which facilitates the same-size parameter exchange and enables distributed agents to reach consensus on the function decided by the parameters in the RF space. For fast convergent implementation, we design an iterative algorithm for Decentralized Kernel Learning via Alternating direction method of multipliers (DKLA). Further, we develop a COmmunication-censored KErnel learning (COKE) algorithm to reduce the communication load in DKLA. To do so, we apply a communication-censoring strategy, which prevents an agent from transmitting at every iteration unless its local updates are deemed informative. Theoretical results in terms of linear convergence guarantee and generalization performance analysis of DKLA and COKE are provided. Comprehensive tests with both synthetic and real datasets are conducted to verify the communication efficiency and learning effectiveness of COKE.

研究动机与目标

• 解决在再生核希尔伯特空间中，局部决策变量依赖于数据且大小不一的去中心化非参数学习挑战。
• 通过随机特征近似实现参数交换，突破去中心化共识中原始数据共享的障碍。
• 在保持收敛性和泛化性能的前提下，降低去中心化核学习中的通信开销。
• 设计一种通信抑制策略，仅在更新被认为具有信息量时才进行传输，从而提升效率。
• 为 DKLA 和 COKE 算法提供线性收敛性和泛化性能的理论保证。

提出的方法

• 应用随机特征（RF）近似，将再生核希尔伯特空间（RKHS）中的高维数据映射到低维随机特征空间，实现各代理间统一大小的参数交换。
• 基于 ADMM 优化框架（DKLA）构建去中心化核学习问题，以解决随机特征空间中的共识问题。
• 引入通信抑制机制，在传输前评估本地更新的信息量，减少不必要的通信。
• 采用基于阈值的准则，根据与前一迭代相比的变化幅度大小，判断代理是否应传输其更新后的参数。
• 将抑制策略整合进 ADMM 框架，以在最小化通信轮次的同时保持收敛性。
• 利用 RKHS 和随机特征近似的结构，确保在随机特征空间中的共识对应于原始核空间中有效的决策函数。

实验结果

研究问题

• RQ1 随机特征近似是否能通过将数据相关参数转换为统一大小的表示，实现在不共享原始数据情况下的去中心化核学习？
• RQ2 所提出的 DKLA 算法在 ADMM 框架下是否能在去中心化核学习中实现线性收敛？
• RQ3 COKE 中的通信抑制策略在不降低学习性能的前提下，能在多大程度上减少通信负载？
• RQ4 在收敛速度和泛化误差方面，COKE 与基线去中心化学习方法相比表现如何？
• RQ5 在所提出的通信抑制去中心化核学习框架中，能够提供哪些关于收敛性和泛化性能的理论保证？

主要发现

• COKE 在 ADMM 框架下实现了去中心化核学习问题的线性收敛，且为 DKLA 和 COKE 算法均提供了理论保证。
• COKE 中的通信抑制策略显著减少了每轮迭代的传输次数，提升了通信效率，且未影响收敛性能。
• 在合成数据集和真实数据集上的实证评估表明，与非抑制基线相比，COKE 在降低通信负载的同时保持了高学习精度。
• 随机特征近似保留了原始核方法的泛化性能，使在随机特征空间中的有效学习成为可能。
• COKE 在多种数据分布和网络拓扑下表现出稳健性能，证实了其可扩展性和隐私保护特性。
• 理论分析表明，COKE 的泛化误差有界且与集中式核学习相当，验证了其在去中心化环境下的有效性。