[论文解读] A Stochastic Majorize-Minimize Subspace Algorithm for Online Penalized Least Squares Estimation

Émilie Chouzenoux, Pesquet Jean-Christophe|arXiv (Cornell University)|Dec 29, 2015

Advanced Adaptive Filtering Techniques被引用 5

一句话总结

本文提出了一种用于在线惩罚最小二乘估计的随机majorize-minimize子空间算法，通过利用数据保真项的随机逼近和子空间加速来确保收敛。在较弱假设下，该方法可实现几乎必然收敛至真实解，在自适应滤波辨识和稀疏信号恢复应用中表现出色。

ABSTRACT

Stochastic approximation techniques play an important role in solving many problems encountered in machine learning or adaptive signal processing. In these contexts, the statistics of the data are often unknown a priori or their direct computation is too intensive, and they have thus to be estimated online from the observed signals. For batch optimization of an objective function being the sum of a data fidelity term and a penalization (e.g. a sparsity promoting function), Majorize-Minimize (MM) methods have recently attracted much interest since they are fast, highly flexible, and effective in ensuring convergence. The goal of this paper is to show how these methods can be successfully extended to the case when the data fidelity term corresponds to a least squares criterion and the cost function is replaced by a sequence of stochastic approximations of it. In this context, we propose an online version of an MM subspace algorithm and we study its convergence by using suitable probabilistic tools. Simulation results illustrate the good practical performance of the proposed algorithm associated with a memory gradient subspace, when applied to both non-adaptive and adaptive filter identification problems.

研究动机与目标

• 将majorize-minimize（MM）优化技术扩展至在线设置，采用数据保真项的随机逼近。
• 通过将更新限制在低维子空间，缓解全维MM方法的计算负担。
• 在数据和正则化函数的弱假设下，确保算法的几乎必然收敛。
• 在自适应信号处理和机器学习问题（如滤波器辨识与稀疏恢复）中展示实际有效性。

提出的方法

• 该算法使用期望最小二乘准则的随机逼近，以处理统计特性未知的流式数据。
• 在每次迭代中，利用Hessian矩阵的近似构造一个上界函数，确保下降性和收敛性。
• 子空间加速将更新限制在当前梯度与记忆向量（例如迭代间差值）的组合上，降低计算成本。
• 该方法采用记忆梯度子空间，以提升高维设置下的收敛速度与稳定性。
• 通过概率工具（包括梯度范数的几乎必然可 summable 性和Ostrowski定理）证明收敛性。
• 该方法具有灵活性，适用于一大类可微且非凸的正则化函数。

实验结果

研究问题

• RQ1 MM方法能否在全数据统计未知或难以计算的在线随机设置中有效扩展？
• RQ2 如何将子空间加速集成到随机MM算法中，以在保持收敛性的同时降低计算成本？
• RQ3 此类在线MM子空间算法的收敛性可建立何种理论保证？
• RQ4 在不确定性条件下，该算法是否在非自适应与自适应信号处理任务中保持鲁棒性能？
• RQ5 记忆梯度子空间在高维问题中如何影响收敛速度与稳定性？

主要发现

• 在标准假设下，所提算法可确保迭代序列几乎必然收敛至真实目标函数的临界点。
• 梯度范数序列几乎必然可求和，意味着迭代最终不再发生显著变化。
• 当正则化函数为凸函数时，算法几乎必然收敛至唯一的全局最小值点，确保全局最优性。
• 仿真结果表明，该算法在非自适应与自适应滤波器辨识任务中均表现出强劲的实际性能。
• 记忆梯度子空间显著提升了高维设置下的收敛速度与稳定性。
• 即使数据统计仅部分已知或在线估计，该方法仍保持鲁棒性与高效性。