[论文解读] Distributed Multi-task APA over Adaptive Networks Based on Partial Diffusion

Vinay Chakravarthi Gogineni, Mrityunjoy Chakraborty|arXiv (Cornell University)|Sep 30, 2015

Advanced Adaptive Filtering Techniques参考文献 18被引用 4

一句话总结

本文提出了一种分布式多任务仿射投影算法（多任务 Pd-APA），通过在相邻节点之间部分共享中间估计向量，降低了自适应网络中的通信负载。通过在自适应过程中仅交换部分条目，该方法在减少节点间通信与保持估计性能之间实现了权衡，理论分析与仿真结果证实，其稳态精度优于全扩散方法。

ABSTRACT

Distributed multi-task adaptive strategies are useful to estimate multiple parameter vectors simultaneously in a collaborative manner. The existed distributed multi-task strategies use diffusion mode of cooperation in which during adaptation step each node gets the cooperation from it neighborhood nodes but not in the same cluster and during combining step each node combines the intermediate estimates of it neighboring nodes that belong to the same cluster. For this the nodes need to transmit the intermediate estimates to its neighborhood. In this paper we propose an extension to the multi-task diffusion affine projection algorithm by allowing partial sharing of the entries of the intermediate estimates among the neighbors. The proposed algorithm is termed as multi-task Partial diffusion Affine projection Algorithm (multi-task Pd-APA) which can provide the trade-off between the communication performance and the estimation performance. The performance analysis of the proposed multi-task partial diffusion APA algorithm is studied in mean and mean square sense. Simulations were conducted to verify the analytical results.

研究动机与目标

• 为解决现有自适应网络中多任务扩散策略通信成本过高的问题。
• 在分布式多任务估计中实现减少节点间通信而不造成显著性能下降。
• 开发一种仅在邻居之间共享部分中间估计条目的部分扩散策略。
• 分析所提出的多任务部分扩散 APA 的均值与均方性能。
• 通过仿真验证通信负载与估计精度之间的权衡。

提出的方法

• 该算法通过允许每个节点在自适应过程中仅与邻居共享其中间估计向量中 M 个条目（共 L 个）来实现部分扩散。
• 通过引入基于正则化权重和组合系数的选择性共享机制，将多任务扩散 APA 扩展为部分扩散策略。
• 该方法采用时变权重矩阵 F 和包含 α₁(n)、α₂(n) 及 Γ(n) 项的递推关系来建模误差动态。
• 通过状态空间递推和稳态误差表达式，对性能进行均值与均方偏差（MSD）分析。
• 组合系数遵循梅特罗波利斯规则，正则化基于簇连通性以非对称方式应用。
• 在包含三个簇的 9 节点网络上实现该算法，投影阶数 M=8，抽头系数初始化为零。

实验结果

研究问题

• RQ1 在多任务自适应网络中，中间估计的部分共享如何影响估计性能？
• RQ2 在分布式多任务学习中，通信负载与估计精度之间的权衡关系如何？
• RQ3 与全扩散 APA 相比，所提出的部分扩散策略在收敛速度和稳态 MSD 方面表现如何？
• RQ4 在输入信号相关条件下，选择性系数交换对稳定性和均方偏差有何影响？
• RQ5 在降低通信开销的同时，该方法能否在输入信号相关条件下保持鲁棒性？

主要发现

• 所提出的多任务 Pd-APA 在通信负载与估计性能之间实现了良好权衡，相比全扩散 APA 显著减少了节点间通信量。
• 尽管收敛速度较慢，部分扩散策略的稳态 MSD 优于全扩散 APA。
• 理论分析表明，当 M < L 时，系统矩阵 F_M 的特征值小于 F_L 的特征值，表明误差增长得到抑制。
• 通过 50 次蒙特卡洛仿真验证，部分扩散在降低通信量的同时提升了稳态性能。
• 在相关输入条件下，该算法仍保持鲁棒性，相关回归器统计下的性能验证了这一点。
• 正则化参数 ρ_kl 设为 |N_k \ C(k)|^{-1}，导致非对称权重，从而提升了性能。