[论文解读] Convolutional Dictionary Learning through Tensor Factorization

Furong Huang, Animashree Anandkumar|arXiv (Cornell University)|Jun 10, 2015

Tensor decomposition and applications参考文献 12被引用 16

一句话总结

本文提出了一种用于卷积字典学习的新型张量分解框架，该框架在循环矩阵约束下利用高阶累积量张量的CP分解。通过使用张量方法并结合高效的FFT投影，该方法将学习问题重新表述，实现了比交替最小化更快、更准确的收敛速度，通过显而易见的并行计算实现对大规模数据集的可扩展性，且运行速度提升达数量级。

ABSTRACT

Tensor methods have emerged as a powerful paradigm for consistent learning of many latent variable models such as topic models, independent component analysis and dictionary learning. Model parameters are estimated via CP decomposition of the observed higher order input moments. However, in many domains, additional invariances such as shift invariances exist, enforced via models such as convolutional dictionary learning. In this paper, we develop novel tensor decomposition algorithms for parameter estimation of convolutional models. Our algorithm is based on the popular alternating least squares method, but with efficient projections onto the space of stacked circulant matrices. Our method is embarrassingly parallel and consists of simple operations such as fast Fourier transforms and matrix multiplications. Our algorithm converges to the dictionary much faster and more accurately compared to the alternating minimization over filters and activation maps.

研究动机与目标

• 为了解决由于平移不变性导致的卷积字典学习问题病态性以及多重等价解的问题。
• 开发一种可扩展且高效的替代交替最小化的方法，后者速度慢且易陷入局部最优。
• 通过具有循环结构的张量分解，将平移不变性直接整合到学习过程中。
• 通过单次数据遍历完成矩计算，相比迭代式数据遍历，显著降低了计算开销。
• 通过利用张量代数和循环矩阵的性质，实现高度并行化和低内存占用。

提出的方法

• 该方法通过从卷积独立成分分析模型中导出的三阶或四阶输入累积量张量进行CP分解来估计模型参数。
• 在分解组件上施加循环矩阵结构，以反映卷积滤波器中的平移不变性。
• 该算法采用带闭式解的约束交替最小二乘法（ALS），通过快速傅里叶变换（FFT）实现。
• 每个ALS步骤通过FFT和矩阵乘法高效求解，实现$O(\log n + \log L)$的时间复杂度，具有$O(L^2n^3)$的并行度。
• 该方法避免显式构建大型循环矩阵，通过隐式计算最小化内存使用。
• 高阶累积量通过单次数据遍历或通过采样技术计算，避免重复访问数据。

实验结果

研究问题

• RQ1 张量分解方法能否被调整以在卷积字典学习中强制实现平移不变性？
• RQ2 循环矩阵约束能否被高效地整合到张量CP分解中，以实现可扩展的学习？
• RQ3 所提出的方法在收敛速度、准确性和可扩展性方面是否优于交替最小化？
• RQ4 该方法能否在保持高精度的同时实现单次数据处理？
• RQ5 该框架能否被有效并行化以处理大规模数据集？

主要发现

• 所提出的卷积张量（CT）方法相比交替最小化（AM）收敛速度显著更快，运行时间实现数量级加速。
• CT方法在滤波器恢复方面达到更高精度，重建误差持续下降，未出现AM中观察到的滤波器误差上升现象。
• 该方法的计算复杂度随样本数量恒定增长，而交替最小化呈线性增长，使得CT在大规模数据集上极为高效。
• 该算法具有显而易见的并行性，通过多线程实现$O(\log n + \log L)$的时间复杂度，使用$O(L^2n^3)$个处理器。
• 通过避免显式构建大型循环矩阵，并利用FFT和张量代数，最小化了内存和计算开销。
• 实验表明，逐滤波器恢复（去噪）策略提高了鲁棒性，并减少了由随机初始化引起的误差波动。