[论文解读] Local stability and robustness of sparse dictionary learning in the presence of noise

Rodolphe Jenatton, Rémi Gribonval+1 more|arXiv (Cornell University)|Oct 2, 2012

Sparse and Compressive Sensing Techniques参考文献 38被引用 28

一句话总结

该论文为在噪声条件下稀疏字典学习的局部稳定性和鲁棒性建立了非渐近概率保证。通过分析相干性、噪声水平和信号维度的缩放关系，证明了在高概率下，即使在过完备和噪声环境下，稀疏编码优化问题的局部极小值仍会出现在真实参考字典附近。

ABSTRACT

A popular approach within the signal processing and machine learning communities consists in modelling signals as sparse linear combinations of atoms selected from a learned dictionary. While this paradigm has led to numerous empirical successes in various fields ranging from image to audio processing, there have only been a few theoretical arguments supporting these evidences. In particular, sparse coding, or sparse dictionary learning, relies on a non-convex procedure whose local minima have not been fully analyzed yet. In this paper, we consider a probabilistic model of sparse signals, and show that, with high probability, sparse coding admits a local minimum around the reference dictionary generating the signals. Our study takes into account the case of over-complete dictionaries and noisy signals, thus extending previous work limited to noiseless settings and/or under-complete dictionaries. The analysis we conduct is non-asymptotic and makes it possible to understand how the key quantities of the problem, such as the coherence or the level of noise, can scale with respect to the dimension of the signals, the number of atoms, the sparsity and the number of observations.

研究动机与目标

• 通过分析其在噪声下的稳定性，从理论上解释稀疏字典学习在信号处理和机器学习中经验成功的原因。
• 解决非凸稀疏编码公式中局部极小值缺乏理论理解的问题。
• 将先前针对无噪声和欠完备字典的分析扩展到更现实的过完备、噪声信号情形。
• 量化关键问题参数（如相干性、噪声水平、稀疏度和信号维度）对可识别性和局部收敛性的影响。

提出的方法

• 构建一个从参考字典生成的稀疏信号的随机模型，其中加入加性噪声。
• 使用非渐近浓度不等式来限制稀疏编码目标函数的偏差。
• 基于字典的相干性假设，控制原子之间的相互相干性。
• 推导出在真实字典邻域内找到局部极小值的高概率下界。
• 采用矩不等式和尾部不等式（例如，次高斯和次威布尔尾部假设）以处理重尾信号分布。
• 结合随机矩阵理论和高维概率的结果，分析噪声条件下优化景观的行为。

实验结果

研究问题

• RQ1 在存在噪声的情况下，稀疏编码在什么条件下会在真实参考字典附近存在局部极小值？
• RQ2 信号数量、稀疏度水平和字典过完备性如何影响恢复真实字典的概率？
• RQ3 通过稀疏编码实现参考字典稳定恢复的最大可允许噪声水平是多少？
• RQ4 相干性和信号维度如何影响真实字典附近存在局部极小值的邻域大小？
• RQ5 能否为过完备、噪声字典学习中的局部稳定性推导出非渐近、高概率的保证？

主要发现

• 在高概率下，即使字典是过完备的且信号存在噪声，稀疏编码目标函数的局部极小值仍存在于真实参考字典的邻域内。
• 此类局部极小值存在的概率有非渐近表达式的下界，其依赖于信号维度、原子数量、稀疏度和噪声水平。
• 真实字典附近的邻域大小随观测数量的增加而有利地扩大，并随噪声水平的倒数而扩大。
• 当字典的相干性和噪声水平相对于信号维度和稀疏度满足特定缩放条件时，可保证对噪声的鲁棒性。
• 分析表明，当信号数量相对于原子数量对数增长、相对于稀疏度水平多项式增长时，可识别性是可实现的。
• 结果将先前的无噪声分析扩展到更现实的场景，为稀疏字典学习在图像和音频处理等应用中的经验成功提供了理论支持。