[论文解读] Analog Sparse Approximation with Applications to Compressed Sensing

Adam S. Charles, Pierre Garrigues+1 more|arXiv (Cornell University)|Nov 17, 2011

Sparse and Compressive Sensing Techniques参考文献 43被引用 5

一句话总结

本文提出一种模拟动力系统——漏电流分室架构（LCA），用于通过连续时间电路求解压缩感知中的稀疏逼近问题。该系统在大规模问题上实现亚20 μs的恢复时间，支持50–100 kHz的实时处理，并且无需重新配置即可支持多种稀疏正则化范数。

ABSTRACT

Recent research has shown that performance in signal processing tasks can often be significantly improved by using signal models based on sparse representations, where a signal is approximated using a small number of elements from a fixed dictionary. Unfortunately, inference in this model involves solving non-smooth optimization problems that are computationally expensive. While significant efforts have focused on developing digital algorithms specifically for this problem, these algorithms are inappropriate for many applications because of the time and power requirements necessary to solve large optimization problems. Based on recent work in computational neuroscience, we explore the potential advantages of continuous time dynamical systems for solving sparse approximation problems if they were implemented in analog VLSI. Specifically, in the simulated task of recovering synthetic and MRI data acquired via compressive sensing techniques, we show that these systems can potentially perform recovery at time scales of 10-20μs, supporting datarates of 50-100 kHz (orders of magnitude faster that digital algorithms). Furthermore, we show analytically that a wide range of sparse approximation problems can be solved in the same basic architecture, including approximate $\ell^p$ norms, modified $\ell^1$ norms, re-weighted $\ell^1$ and $\ell^2$, the block $\ell^1$ norm and classic Tikhonov regularization.

研究动机与目标

• 为解决数字稀疏逼近算法在实时和功耗受限应用中的高计算成本问题。
• 探索使用连续时间模拟VLSI电路求解稀疏优化问题的可行性。
• 证明单一模拟架构可解决超越标准ℓ¹最小化的多样化稀疏逼近问题。
• 评估模拟动力系统在压缩感知恢复中的性能与可扩展性。
• 为混合模拟-数字系统奠定基础，结合模拟计算的速度与数字精度的优势。

提出的方法

• LCA被建模为一个连续时间动力系统，通过能量最小化机制演化至稀疏逼近问题的解。
• 该系统源自优化问题的对偶公式，可实现向最优解的稳定收敛。
• 通过动态调节系统的时间常数，该架构可支持多种正则化函数，包括ℓ¹、重加权ℓ¹、ℓ²、块ℓ¹及Tikhonov正则化。
• 仿真结果表明，LCA可在10–20 μs内求解包含N = 1000个变量的问题，对应数据速率为50–100 kHz。
• 系统的动力学由一组耦合微分方程描述，模拟系数向稀疏解的演化过程。
• 该方法通过持续调节正则化参数实现动态重加权，与迭代数字方案相比显著缩短收敛时间。

实验结果

研究问题

• RQ1 连续时间模拟电路是否能比数字算法更快求解大规模稀疏逼近问题？
• RQ2 单一模拟架构是否可在无需重新配置的情况下支持多种稀疏正则化范数？
• RQ3 在实际应用中，模拟LCA的解算时间如何随问题规模变化？
• RQ4 模拟实现的压缩感知中，可达到的恢复速度与精度如何？
• RQ5 模拟动力系统是否能在实时信号恢复应用中优于数字求解器？

主要发现

• 对于N = 1000的问题，LCA可在10–20 μs内完成信号恢复，对应50–100 kHz的实时处理能力。
• 与数字算法不同，该模拟系统的解算时间不会随问题规模显著增加。
• 同一LCA架构可求解多种稀疏逼近问题，包括ℓ¹、重加权ℓ¹、ℓ²、块ℓ¹及Tikhonov正则化。
• 动态重加权LCA的收敛时间约为标准数字重加权算法两次迭代所需时间。
• 初步硬件原型已实现低于5%的相对MSE，验证了仿真性能。
• 系统对制造失配具有鲁棒性，通过可重构模拟设计可进一步提升性能。