[论文解读] The adaptive projected subgradient method constrained by families of quasi-nonexpansive mappings and its application to online learning

Konstantinos Slavakis, Isao Yamada|arXiv (Cornell University)|Aug 31, 2010

Sparse and Compressive Sensing Techniques参考文献 48被引用 8

一句话总结

本文提出了一种基于拟非扩张映射族的自适应投影次梯度方法，用于在时变环境中增强在线学习性能。通过利用这些映射动态、时变的先验知识，该方法实现了鲁棒的、低复杂度的稀疏系统辨识，具有收敛性保证，并且在跟踪性能上优于现有最先进方法。

ABSTRACT

Many online, i.e., time-adaptive, inverse problems in signal processing and machine learning fall under the wide umbrella of the asymptotic minimization of a sequence of non-negative, convex, and continuous functions. To incorporate a-priori knowledge into the design, the asymptotic minimization task is usually constrained on a fixed closed convex set, which is dictated by the available a-priori information. To increase versatility towards the usage of the available information, the present manuscript extends the Adaptive Projected Subgradient Method (APSM) by introducing an algorithmic scheme which incorporates a-priori knowledge in the design via a sequence of strongly attracting quasi-nonexpansive mappings in a real Hilbert space. In such a way, the benefits offered to online learning tasks by the proposed method unfold in two ways: 1) the rich class of quasi-nonexpansive mappings provides a plethora of ways to cast a-priori knowledge, and 2) by introducing a sequence of such mappings, the proposed scheme is able to capture the time-varying nature of a-priori information. The convergence properties of the algorithm are studied, several special cases of the method with wide applicability are shown, and the potential of the proposed scheme is demonstrated by considering an increasingly important, nowadays, online sparse system/signal recovery task.

研究动机与目标

• 为解决在在线学习任务中融合时变先验知识的挑战。
• 通过将固定凸约束替换为拟非扩张映射序列，扩展自适应投影次梯度方法（APSM）。
• 实现在如时变稀疏系统辨识等动态环境中高效、实时的自适应能力。
• 在保持收敛性和跟踪性能的同时降低计算复杂度。
• 在真实世界适用的在线稀疏信号恢复任务中验证该方法的有效性。

提出的方法

• 该方法使用一系列强吸引的拟非扩张映射，在实希尔伯特空间中表示时变的先验知识。
• 在每次迭代中，算法应用一种松弛型投影算子 $ T_{\Phi_n}^{(\nu_n)} $，将当前估计投影到由当前映射 $ \Phi_n $ 定义的集合上。
• 更新规则结合了次梯度步骤与当前拟非扩张映射像集上的投影，确保收敛至不动点。
• 该方法用迭代逼近 $ T_{\Phi_n}^{(\nu_n)} $ 替代对 $ \ell_1 $-球的精确投影，将复杂度从 $ \mathcal{O}(qL + L\log L) $ 降低至 $ \mathcal{O}(qL) $。
• 该算法应用于基于损失函数 $ \Theta_n(x) = \mathcal{L}(x(\bm{a}_n) - d_n) $ 的在线稀疏系统辨识，其中 $ \mathcal{L} $ 为任意凸损失函数。
• 收敛性分析在实希尔伯特空间中进行，理论保证在映射序列和步长序列满足弱假设条件下成立。

实验结果

研究问题

• RQ1 基于拟非扩张映射的时变约束结构是否能提升动态环境中在线学习的性能？
• RQ2 所提出的方法在稀疏系统辨识中如何平衡收敛速度、跟踪精度与计算复杂度？
• RQ3 用迭代逼近算子替代精确的 $ \ell_1 $-球投影对性能和复杂度有何影响？
• RQ4 与现有在线稀疏学习算法（如 RZ-LMS、LASSO 和 OCCD-TNWL）相比，该方法在跟踪系统突变方面表现如何？
• RQ5 该框架能否推广至稀疏恢复以外的其他在线学习任务？

主要发现

• 所提方法在显著降低计算复杂度的同时，实现了与基于精确投影的变体相当的跟踪性能。
• 通过避免精确 $ \ell_1 $-球投影所需的排序操作，计算成本降低至 $ \mathcal{O}(qL) $。
• 在时不变情况下，该方法性能与精确投影版本相近，验证了近似方法的有效性。
• 在时变情况下，该方法成功跟踪了稀疏结构的突变（例如在第 501 次迭代时非零系数从 5 个增加到 8 个），且误差下限较低。
• 在跟踪能力上优于使用遗忘因子为 0.96 的 OCCD-TNWL，同时误差下限低于使用更高遗忘因子的 RZ-LMS。
• 该方法在高斯噪声下，于静态和动态稀疏系统辨识任务中均表现出鲁棒性和适应性。