[论文解读] Finite Dictionary Variants of the Diffusion KLMS Algorithm

Rangeet Mitra, Vimal Bhatia|arXiv (Cornell University)|Sep 9, 2015

Advanced Adaptive Filtering Techniques被引用 3

一句话总结

本文提出了扩散核最小均方（KLMS）算法的两种有限字典变体——量化扩散KLMS（QDKLMS）和固定预算扩散KLMS（FBDKLMS），以解决传统扩散KLMS存在的无限存储需求问题。通过采用在线向量量化和动态字典剪枝技术，两种算法在保持分布式网络中非线性学习高性能的同时，实现了更快的收敛速度和更低的内存占用。

ABSTRACT

The diffusion based distributed learning approaches have been found to be a viable solution for learning over linearly separable datasets over a network. However, approaches till date are suitable for linearly separable datasets and need to be extended to scenarios in which we need to learn a non-linearity. In such scenarios, the recently proposed diffusion kernel least mean squares (KLMS) has been found to be performing better than diffusion least mean squares (LMS). The drawback of diffusion KLMS is that it requires infinite storage for observations (also called dictionary). This paper formulates the diffusion KLMS in a fixed budget setting such that the storage requirement is curtailed while maintaining appreciable performance in terms of convergence. Simulations have been carried out to validate the two newly proposed algorithms named as quantised diffusion KLMS (QDKLMS) and fixed budget diffusion KLMS (FBDKLMS) against KLMS, which indicate that both the proposed algorithms deliver better performance as compared to the KLMS while reducing the dictionary size storage requirement.

研究动机与目标

• 解决扩散KLMS在分布式非线性学习中因字典无限增长而带来的关键限制。
• 使扩散KLMS能够在无线传感器网络等资源受限网络中实现实际部署。
• 开发有限字典机制，在降低每个节点的内存和计算负载的同时，保持收敛速度与精度。
• 为非线性、非可分数据场景下的分布式核自适应滤波提供可扩展、鲁棒的解决方案。
• 通过限制字典大小而不牺牲学习性能，确保与现实系统兼容。

提出的方法

• 提出QDKLMS，利用在线向量量化动态更新并限制每个节点的本地字典大小。
• 实现FBDKLMS，通过递归剪枝对字典中贡献最小的元素来维持固定的字典预算。
• 应用核技巧将数据映射到再生核希尔伯特空间（RKHS），以估计非线性决策边界。
• 集成扩散策略，使节点能够结合本地估计与邻居的加权信息，提升收敛速度与鲁棒性。
• 在FBDKLMS中采用基于重要性的剪枝机制，移除对整体假设影响最小的字典元素，确保算法的适应性与效率。
• 采用Silverman法则选择核宽，并将步长固定为0.1，以确保不同算法间的一致比较。

实验结果

研究问题

• RQ1 在分布式网络环境中，是否能有效缓解扩散KLMS的无限字典需求，且不降低学习性能？
• RQ2 在非线性、非可分数据分布下，QDKLMS与FBDKLMS在收敛速度、稳态误差和字典大小方面如何比较？
• RQ3 网络规模扩展对所提算法性能与内存效率有何影响？
• RQ4 有限字典变体是否能在降低存储开销的同时，保持或提升收敛速度，相比标准扩散KLMS？
• RQ5 FBDKLMS中的基于重要性的剪枝机制与QDKLMS中的量化更新机制在内存效率与误差底限方面如何比较？

主要发现

• 在非平稳信道、新月形数据集和螺旋数据集中，QDKLMS与FBDKLMS的收敛速度均快于标准扩散KLMS。
• FBDKLMS在字典大小上始终低于QDKLMS，尤其在小型网络中表现更优，同时保持相当或更优的性能。
• 在非平稳均衡信道中，两种算法均表现出比KLMS更快的瞬态响应和更低的稳态均方误差（MSE）。
• 对于新月形与螺旋数据集，随着网络规模增大，FBDKLMS的误差底限与字典大小均低于QDKLMS。
• 随着网络规模增加，QDKLMS与FBDKLMS的收敛MSE底限均呈下降趋势，表明其具备可扩展性与鲁棒性。
• 基于200次蒙特卡洛仿真实验的平均结果表明，FBDKLMS比QDKLMS更具内存效率，更适合实际部署。