[论文解读] COKE: Communication-Censored Decentralized Kernel Learning

Ping Xu, Yue Wang+2 more|arXiv (Cornell University)|Jan 28, 2020

Distributed Sensor Networks and Detection Algorithms参考文献 78被引用 6

一句话总结

该论文提出COKE，一种通信抑制的去中心化核学习算法，通过随机特征逼近实现各参与方之间的数据无关参数一致性，避免原始数据交换。通过将ADMM与通信抑制机制结合，COKE在保持泛化性能的同时实现了线性收敛和更高的通信效率，适用于去中心化非参数学习。

ABSTRACT

This paper studies the decentralized optimization and learning problem where multiple interconnected agents aim to learn an optimal decision function defined over a reproducing kernel Hilbert space by jointly minimizing a global objective function, with access to their own locally observed dataset. As a non-parametric approach, kernel learning faces a major challenge in distributed implementation: the decision variables of local objective functions are data-dependent and thus cannot be optimized under the decentralized consensus framework without any raw data exchange among agents. To circumvent this major challenge, we leverage the random feature (RF) approximation approach to enable consensus on the function modeled in the RF space by data-independent parameters across different agents. We then design an iterative algorithm, termed DKLA, for fast-convergent implementation via ADMM. Based on DKLA, we further develop a communication-censored kernel learning (COKE) algorithm that reduces the communication load of DKLA by preventing an agent from transmitting at every iteration unless its local updates are deemed informative. Theoretical results in terms of linear convergence guarantee and generalization performance analysis of DKLA and COKE are provided. Comprehensive tests on both synthetic and real datasets are conducted to verify the communication efficiency and learning effectiveness of COKE.

研究动机与目标

• 解决因隐私和通信限制而无法在各方之间共享原始数据的去中心化非参数学习挑战。
• 通过随机特征逼近克服去中心化一致性框架中核方法决策变量的数据依赖性。
• 在不牺牲收敛性或泛化性能的前提下，降低去中心化核学习中的通信开销。
• 设计一种通信抑制机制，仅在更新被认为具有信息量时才进行传输，从而提升带宽受限网络中的效率。
• 理论上保证基础DKLA和COKE算法的线性收敛性与泛化性能。

提出的方法

• 使用随机特征（RF）逼近将数据映射到数据无关的特征空间，实现在不共享原始数据的前提下实现模型参数的一致性。
• 利用ADMM框架将去中心化核学习问题表述为一致性优化问题，从而导出去中心化核学习算法（DKLA）。
• 在COKE中引入通信抑制机制，通过评估更新的信息量再决定是否传输，从而降低通信负载。
• 应用理论分析证明DKLA和COKE的线性收敛性，同时对近似误差和泛化性能提供边界。
• 利用再生表示定理和核逼近技术，确保基于随机特征的模型与真实RKHS解保持接近。
• 结合正则化与投影算子，以正则化参数λ和随机特征数量T表示泛化误差的上界。

实验结果

研究问题

• RQ1 能否在不共享各方原始数据的前提下实现去中心化核学习，同时保持收敛性和泛化性能？
• RQ2 如何在不降低学习性能的前提下减少去中心化核学习中的通信开销？
• RQ3 在ADMM框架下，所提出的去中心化核学习算法的收敛速率如何？
• RQ4 随机特征映射引入的近似误差如何影响泛化性能？
• RQ5 能否设计一种通信抑制策略，仅在更新具有信息量时才进行传输，从而提升效率？

主要发现

• COKE实现对最优解的线性收敛，且收敛速率与近似误差具有理论保证。
• 由于随机特征映射引入的近似误差被有界为O(1/√T)，其中T为随机特征数量。
• 泛化误差被有界为3λ + O(1/√T)，表明当随机特征数量足够时，该方法能保持良好性能。
• COKE中的通信抑制机制显著减少了传输次数，且未降低收敛性或准确性。
• 在合成数据集和真实数据集上的全面实验验证了COKE在通信效率和学习有效性方面优于基线方法。
• 理论分析表明，在标准假设下，DKLA和COKE均保持线性收敛，且误差项受正则化和特征维度的控制。