[论文解读] Adaptive Acceleration of Sparse Coding via Matrix Factorization

Joan Bruna, Thomas Moreau|arXiv (Cornell University)|Sep 1, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用 7

一句话总结

本文提出了一种自适应加速方法，通过利用字典的格拉姆矩阵的特定矩阵分解，实现更快的收敛速度。该方法通过酉变换几乎对角化该矩阵，同时保持ℓ₁范数结构。由于有利的谱特性，该方法在早期迭代中相较于标准FISTA实现了更优的收敛界。

ABSTRACT

Sparse coding remains a core building block in many data analysis and machine learning pipelines. Typically it is solved by relying on generic optimization techniques, that are optimal in the class of first-order methods for non-smooth, convex functions, such as the Iterative Soft Thresholding Algorithm and its accelerated version (ISTA, FISTA). However, these methods don't exploit the particular structure of the problem at hand nor the input data distribution. An acceleration using neural networks was proposed in \citep{Gregor10}, coined LISTA, which showed empirically that one could achieve high quality estimates with few iterations by modifying the parameters of the proximal splitting appropriately. In this paper we study the reasons for such acceleration. Our mathematical analysis reveals that it is related to a specific matrix factorization of the Gram matrix of the dictionary, in which unitary transformations leverage near diagonalisation with small perturbations of the $\ell_1$ norm. When this factorization succeeds, we prove that the resulting splitting algorithm enjoys an improved convergence bound with respect to the non-adaptive version. Moreover, our analysis also shows that conditions for acceleration occur mostly at the beginning of the iterative process, consistent with numerical experiments.

研究动机与目标

• 理解为何基于神经网络的稀疏编码方法（如LISTA）比标准一阶方法收敛更快。
• 确定稀疏编码可超越通用优化技术实现加速的数学条件。
• 开发一种理论基础扎实、自适应的加速方法，利用字典格拉姆矩阵的结构。
• 证明所提出的自适应算法相较于非自适应FISTA具有更优的收敛界。

提出的方法

• 该方法分析字典的格拉姆矩阵，识别出一种特定的矩阵分解，使得通过酉变换实现近似对角化成为可能。
• 利用该分解重新表述稀疏编码问题，构建具有自适应参数的改进型邻近分裂算法。
• 通过引入ℓ₁范数的小扰动，保持稀疏性的同时改善收敛行为。
• 该算法源自对格拉姆矩阵谱特性与收敛速度之间关系的数学分析。
• 利用优化理论证明收敛界，表明在所识别的分解条件下，该方法优于标准FISTA。

实验结果

研究问题

• RQ1 字典格拉姆矩阵的何种结构特性可实现稀疏编码中的更快收敛？
• RQ2 为何LISTA风格的神经网络加速在实践中优于标准FISTA？
• RQ3 该加速是否可被理论证明，并可推广至神经网络参数学习之外？
• RQ4 在迭代过程的哪个阶段加速最有效，原因是什么？

主要发现

• 当格拉姆矩阵可通过酉变换实现有利的矩阵分解时，所提方法相较于非自适应FISTA实现了更优的收敛界。
• 加速主要在算法的早期迭代中有效，与LISTA中的经验观察一致。
• 改进源于通过酉变换对格拉姆矩阵实现近似对角化，从而降低条件数对ℓ₁邻近算子的影响。
• 该方法揭示了LISTA成功的关键在于利用了特定的矩阵分解，该分解在增强谱特性的同时保持了ℓ₁范数结构。