[论文解读] Convergence of LCA Flows to (C)LASSO Solutions

Ping Tang|arXiv (Cornell University)|Mar 4, 2016

Sparse and Compressive Sensing Techniques参考文献 10被引用 4

一句话总结

本文利用广义LaSalle不变性原理，严格证明了局部竞争算法（LCA）流对（C）LASSO问题解的收敛性——即带有非负约束的LASSO问题。证明表明，LCA轨迹会收敛到最优目标值，且在唯一性条件下收敛到精确最优解，填补了先前关于非可逆和非径向无界的激活函数研究中的空白。

ABSTRACT

This paper establishes several convergence results about flows of the dynamical system LCA (Locally Competitive Algorithm) to the mixed $\ell_2$-$\ell_1$ minimization problem LASSO and the constrained version, called CLASSO here, where the parameters are required to be non-negative. (C)LASSO problems are closely related to various important applications including efficient coding, image recognition and image reconstruction. That the solution of (C)LASSO can be determined by LCA allows the former to be solved in novel ways such as through a physical realization of analog circuits or on non-von Neumann computers. As discussed in the paper, previous works that show convergence of LCA to LASSO are incomplete, and do not consider CLASSO. The main contributions of this paper are a particular generalization of LaSalle's invariance principle and its application to rigorously establish LCA's convergence to (C)LASSO.

研究动机与目标

• 建立LCA流对（C）LASSO解的严格收敛性，其中参数被约束为非负。
• 解决先前LCA收敛性证明中的空白，特别是针对非可逆和非径向无界的激活函数。
• 将LaSalle的不变性原理推广，以处理（C）LASSO设置下LCA的非光滑、非径向无界动力学。
• 为利用模拟电路或脉冲神经网络电路实现LASSO求解器的物理实现和非冯·诺依曼架构提供理论基础。

提出的方法

• 提出了一种LaSalle不变性原理的新广义形式，用于分析非光滑、非径向无界动力系统中LCA流的收敛性。
• 该方法利用LCA目标函数沿轨迹非增且有下界这一事实，确保其时间导数收敛至零。
• 分析区分了全状态向量u(t)和活动子集a(t)的动力学，使用广义梯度刻画次微分行为。
• 证明依赖于将活动变量导数的范数以目标函数的广义梯度表示，从而可应用不变性原理。
• 该方法处理了LCA在（C）LASSO中使用的非可逆且无界的激活函数，而此前的研究未能严格分析此类情况。
• 在对系统参数施加弱假设的条件下，建立了目标函数值和状态轨迹的理论收敛性。

实验结果

研究问题

• RQ1 当激活函数为非可逆且非径向无界时，LCA流是否仍能收敛到（C）LASSO问题的最优解？
• RQ2 能否提出并应用广义LaSalle不变性原理，以证明在（C）LASSO中出现的非光滑、非径向无界动力系统中的收敛性？
• RQ3 在何种条件下，LCA状态轨迹会收敛到（C）LASSO问题的唯一最优解？
• RQ4 先前LCA收敛性证明为何在（C）LASSO情况下失效，以及如何修正？

主要发现

• 无论初始条件如何，（C）LASSO问题的目标函数值沿任意LCA流均收敛至其最优值。
• 当（C）LASSO解唯一时，LCA状态轨迹收敛至该唯一最优解。
• 尽管LCA在（C）LASSO中使用的激活函数为非可逆且非径向无界，该收敛性证明依然成立。
• 本文指出了Balavoine、Romberg和Rozell先前收敛性证明中的关键缺陷，特别是在使用Łojasiewicz不等式以及涉及广义梯度的关键不等式有效性方面。
• 本文提出的广义LaSalle不变性原理在缺乏径向无界性和光滑性的情况下，对建立收敛性至关重要。
• 结果为通过模拟电路或脉冲神经网络实现（C）LASSO求解器提供了严格的理论基础，支持能效高、非冯·诺依曼架构的计算。