[论文解读] Local Identification of Overcomplete Dictionaries

Karin Schnass|arXiv (Cornell University)|Jan 24, 2014

Sparse and Compressive Sensing Techniques参考文献 34被引用 19

一句话总结

该论文首次建立了在过完备字典相干性为μ的情况下，通过一种新颖的极大化准则（该准则推广了K-means）从稀疏信号中稳定识别字典的理论条件。证明了在稀疏度高达O(μ⁻²)以及信噪比高达O(√d)时，局部恢复是可能的，且有限样本复杂度的量级为O(K³dSε̃⁻²)，并提出了ITKM算法以实现高效的局部优化，其每次迭代的复杂度为O(dKN)。

ABSTRACT

This paper presents the first theoretical results showing that stable identification of overcomplete $μ$-coherent dictionaries $Φ\in \mathbb{R}^{d imes K}$ is locally possible from training signals with sparsity levels $S$ up to the order $O(μ^{-2})$ and signal to noise ratios up to $O(\sqrt{d})$. In particular the dictionary is recoverable as the local maximum of a new maximisation criterion that generalises the K-means criterion. For this maximisation criterion results for asymptotic exact recovery for sparsity levels up to $O(μ^{-1})$ and stable recovery for sparsity levels up to $O(μ^{-2})$ as well as signal to noise ratios up to $O(\sqrt{d})$ are provided. These asymptotic results translate to finite sample size recovery results with high probability as long as the sample size $N$ scales as $O(K^3dS ilde \varepsilon^{-2})$, where the recovery precision $ ilde \varepsilon$ can go down to the asymptotically achievable precision. Further, to actually find the local maxima of the new criterion, a very simple Iterative Thresholding and K (signed) Means algorithm (ITKM), which has complexity $O(dKN)$ in each iteration, is presented and its local efficiency is demonstrated in several experiments.

研究动机与目标

• 建立从有限训练信号中稳定实现过完备字典局部识别的理论条件。
• 弥合现有理论边界（O(μ⁻¹)）与字典学习实际性能（O(μ⁻²)）之间的差距。
• 提出一种推广K-means的新型优化准则，使在更高稀疏度水平下实现字典的局部恢复成为可能。
• 推导出显式样本复杂度量级的有限样本恢复保证。
• 提出并验证ITKM算法，以实现该新准则的高效局部优化。

提出的方法

• 提出一种新的极大化准则，推广K-means目标函数，以实现从稀疏信号中稳定恢复字典。
• 推导渐近恢复保证，表明在稀疏度高达O(μ⁻¹)时可实现精确恢复，在稀疏度高达O(μ⁻²)时可实现稳定恢复。
• 通过控制经验准则与其期望之间的偏差（利用集中不等式），建立有限样本大小的恢复边界。
• 提出迭代阈值与K（带符号）均值（ITKM）算法，每次迭代的复杂度为O(dKN)，结合了阈值处理与带符号K-means更新。
• 通过准则景观的概率分析，证明在新准则下真实字典是一个局部最大值。
• 通过平衡估计误差与偏差概率，推导出样本复杂度边界，得出当精度为ε̃时，样本量N = O(K³dSε̃⁻²)。

实验结果

研究问题

• RQ1 能否在超过O(μ⁻¹)稀疏度阈值的情况下，从稀疏信号中稳定识别出相干性为μ的过完备字典？
• RQ2 是否存在一种有原则的优化准则，可推广K-means并实现更高稀疏度水平下的字典局部恢复？
• RQ3 在新准则下，为实现高概率的有限样本恢复，所需的样本量是多少？
• RQ4 像ITKM这样的简单迭代算法能否实现对真实字典的局部收敛？
• RQ5 在所提框架中，信噪比如何影响恢复阈值？

主要发现

• 在稀疏度高达O(μ⁻²)时，可实现对过完备μ-相干字典的局部识别，显著超过先前理论极限O(μ⁻¹)。
• 所提出的极大化准则在渐近意义上可实现高达O(μ⁻¹)稀疏度的精确恢复，并在高达O(μ⁻²)稀疏度下实现稳定恢复。
• 当样本量按O(K³dSε̃⁻²)量级缩放时，可高概率保证有限样本恢复，其中ε̃为目标恢复精度。
• ITKM算法以每次迭代O(dKN)的复杂度实现对真实字典的局部收敛，展示了实际可行性。
• 即使在信噪比高达O(√d)时，仍可实现稳定恢复，扩展了该方法的适用范围。
• 通过利用测度集中控制经验准则与其期望之间的偏差，推导出样本复杂度的理论边界。