[论文解读] Diffusion Adaptation Over Clustered Multitask Networks Based on the Affine Projection Algorithm

Vinay Chakravarthi Gogineni, Mrityunjoy Chakraborty|arXiv (Cornell University)|Jul 29, 2015

Advanced Adaptive Filtering Techniques被引用 6

一句话总结

本文提出了一种新型的多任务扩散仿射投影算法（APA），适用于聚类自适应网络，增强了对相关输入的鲁棒性，并提升了收敛速度与稳态性能。通过引入基于聚类的正则化和基于相似性的更新规则，该方法在均方偏差（MSD）方面表现更优，且收敛速度更快，优于现有策略。

ABSTRACT

Distributed adaptive networks achieve better estimation performance by exploiting temporal and as well spatial diversity while consuming few resources. Recent works have studied the single task distributed estimation problem, in which the nodes estimate a single optimum parameter vector collaboratively. However, there are many important applications where the multiple vectors have to estimated simultaneously, in a collaborative manner. This paper presents multi-task diffusion strategies based on the Affine Projection Algorithm (APA), usage of APA makes the algorithm robust against the correlated input. The performance analysis of the proposed multi-task diffusion APA algorithm is studied in mean and mean square sense. And also a modified multi-task diffusion strategy is proposed that improves the performance in terms of convergence rate and steady state EMSE as well. Simulations are conducted to verify the analytical results.

研究动机与目标

• 为解决单任务和非聚类多任务扩散算法在处理相关输入信号时的局限性。
• 为具有聚类拓扑和相关数据的多任务网络开发一种鲁棒的分布式学习策略。
• 通过基于聚类的正则化和相似性感知的自适应机制，提升收敛速度和稳态均方偏差（MSD）性能。
• 在理论框架下分析所提算法的均值和均方性能。
• 通过仿真验证所提方法，对比非合作策略与标准多任务扩散APA在收敛性和稳态性能方面的表现。

提出的方法

• 所提算法采用仿射投影算法（APA）以增强多任务网络中对相关输入信号的鲁棒性。
• 采用基于聚类的结构，同一聚类中的节点共享相似的参数向量，并使用聚类特定的权重施加正则化。
• 引入一种改进的多任务扩散APA，利用节点间的相似性度量以提升收敛速度并降低稳态误差。
• 算法采用马尔可夫规则确定组合系数，使用单位矩阵作为系数矩阵C，以确保稳定性和分布式学习效率。
• 在均值和均方意义下进行理论性能分析，推导出均值权向量和均方偏差（MSD）的表达式。
• 该算法同时整合了聚类间与聚类内协作，利用空间多样性与时间相关性以提升估计性能。

实验结果

研究问题

• RQ1 在相关输入条件下，所提多任务扩散APA在收敛速度和稳态MSD方面表现如何？
• RQ2 基于聚类的正则化对多任务扩散算法性能有何影响？
• RQ3 与标准多任务扩散APA相比，改进算法中基于相似性的更新规则如何提升收敛速度和稳态误差？
• RQ4 与非合作策略和标准多任务扩散策略相比，所提方法在估计精度和收敛速度方面优势有多大？
• RQ5 所提算法的均值和均方行为可推导出哪些理论性能边界？

主要发现

• 所提聚类多任务扩散APA在稳态MSD方面显著低于非合作和标准多任务扩散APA策略。
• 仿真结果证实，采用基于相似性的正则化的改进多任务扩散APA具有更快的收敛速度和更优的稳态性能。
• 仿真表明，引入聚类信息和节点间正则化可显著提升性能，优于非合作和标准多任务方法。
• 理论分析证实所提算法具有稳定性和收敛性，其均值和均方偏差表达式在一般网络条件下被推导得出。
• 由于采用APA，该算法对相关输入信号保持鲁棒性，克服了LMS方法在该方面的已知局限。
• 50次蒙特卡洛仿真结果表明，该方法在不同噪声和相关性统计条件下的多个测试场景中均表现出一致的性能提升。