[论文解读] Gradient Compared Lp-LMS Algorithms for Sparse System Identification

Yong Feng, Jiasong Wu+3 more|arXiv (Cornell University)|Mar 4, 2015

Advanced Adaptive Filtering Techniques参考文献 8被引用 4

一句话总结

本文提出两种新颖的 Lp-LMS 算法——LpGC-LMS 和 LpNGC-LMS——用于稀疏系统辨识，利用梯度比较器根据梯度符号选择性地应用 p-范数惩罚。与标准 LMS 和 Lp-LMS 相比，该方法在收敛速度和稳态误差方面表现更优，理论分析与仿真结果均验证了其在稀疏环境下的优越性能。

ABSTRACT

In this paper, we propose two novel p-norm penalty least mean square (Lp-LMS) algorithms as supplements of the conventional Lp-LMS algorithm established for sparse adaptive filtering recently. A gradient comparator is employed to selectively apply the zero attractor of p-norm constraint for only those taps that have the same polarity as that of the gradient of the squared instantaneous error, which leads to the new proposed gradient compared p-norm constraint LMS algorithm (LpGC-LMS). We explain that the LpGC-LMS can achieve lower mean square error than the standard Lp-LMS algorithm theoretically and experimentally. To further improve the performance of the filter, the LpNGC-LMS algorithm is derived using a new gradient comparator which takes the sign-smoothed version of the previous one. The performance of the LpNGC-LMS is superior to that of the LpGC-LMS in theory and in simulations. Moreover, these two comparators can be easily applied to other norm constraint LMS algorithms to derive some new approaches for sparse adaptive filtering. The numerical simulation results show that the two proposed algorithms achieve better performance than the standard LMS algorithm and Lp-LMS algorithm in terms of convergence rate and steady-state behavior in sparse system identification settings.

研究动机与目标

• 为解决传统 Lp-LMS 在稀疏系统辨识中的局限性，提出基于自适应惩罚应用的改进方法。
• 通过利用梯度符号智能选择抽头更新，降低稀疏自适应滤波中的均方误差。
• 与标准 LMS 和 Lp-LMS 算法相比，提升收敛速度与稳态行为表现。
• 构建一个可推广的框架，利用梯度比较器适用于其他范数约束的 LMS 算法。

提出的方法

• 引入一种梯度比较器，仅对与平方误差梯度符号相同的抽头应用 p-范数零吸引器。
• 提出 LpGC-LMS 算法，利用当前梯度符号指导选择性正则化。
• 提出 LpNGC-LMS 算法，采用前一梯度的符号平滑版本以增强稳定性和性能。
• 采用 p-范数约束，在自适应过程中促进权向量的稀疏性。
• 通过将梯度比较器整合到标准 Lp-LMS 框架中，推导出新算法。
• 结合理论分析与仿真验证所提方法的性能改进。

实验结果

研究问题

• RQ1 基于梯度的比较器是否能提升 p-范数约束 LMS 算法在稀疏系统辨识中的性能？
• RQ2 根据梯度符号选择性地应用 p-范数惩罚，是否能实现更快的收敛速度与更低的稳态误差？
• RQ3 在 LpNGC-LMS 中使用符号平滑梯度比较器，相较于 LpGC-LMS 中的标准梯度比较器，性能表现如何？
• RQ4 所提出的梯度比较器框架是否可推广至其他范数约束的 LMS 算法？
• RQ5 LpGC-LMS 和 LpNGC-LMS 在稀疏系统中相较于标准 LMS 和 Lp-LMS 的理论与实证性能增益为何？

主要发现

• LpGC-LMS 在理论上和实验上均表现出低于标准 Lp-LMS 的均方误差。
• 仿真结果表明，LpNGC-LMS 在收敛速度与稳态行为方面优于 LpGC-LMS。
• 两种所提算法在稀疏系统辨识任务中均表现出比标准 LMS 和 Lp-LMS 更快的收敛速度与更低的稳态误差。
• 梯度比较器机制通过仅针对相关滤波抽头施加惩罚，有效增强了稀疏性促进效果。
• 所提方法具有可推广性，可应用于其他范数约束的 LMS 算法以提升性能。
• 数值仿真结果证实了新算法在多种性能指标上的理论优势。