[论文解读] Fast Convolutive Nonnegative Matrix Factorization Through Coordinate and Block Coordinate Updates

Anthony Degleris, Ben Antin+2 more|arXiv (Cornell University)|Jun 29, 2019

Blind Source Separation Techniques参考文献 28被引用 4

一句话总结

本文提出了一种快速、可扩展的算法——分层交替最小二乘法（HALS）和交替非负最小二乘法（ANLS）——用于卷积非负矩阵分解（CNMF），将高效的NMF方法扩展至时间序列中时序模式的建模。所提方法在大规模合成数据和真实世界数据上均优于传统的乘法更新法，展现出更快的收敛速度和更高的准确性。

ABSTRACT

Identifying recurring patterns in high-dimensional time series data is an important problem in many scientific domains. A popular model to achieve this is convolutive nonnegative matrix factorization (CNMF), which extends classic nonnegative matrix factorization (NMF) to extract short-lived temporal motifs from a long time series. Prior work has typically fit this model by multiplicative parameter updates---an approach widely considered to be suboptimal for NMF, especially in large-scale data applications. Here, we describe how to extend two popular and computationally scalable NMF algorithms---Hierarchical Alternating Least Squares (HALS) and Alternatining Nonnegative Least Squares (ANLS)---for the CNMF model. Both methods demonstrate performance advantages over multiplicative updates on large-scale synthetic and real world data.

研究动机与目标

• 解决卷积非负矩阵分解（CNMF）中缺乏高效、可扩展优化算法的问题，这对建模时间序列中短暂存在的时序模式至关重要。
• 克服广泛使用的乘法更新（MU）方法的局限性，该方法在大规模NMF中表现次优，且在CNMF中同样效果不佳。
• 将两种高性能NMF算法——HALS与ANLS——扩展至CNMF框架，以实现大规模时间序列数据的更快、更准确的分解。
• 提出CNMF目标函数的新数学重表述，以提升模型的可解释性并带来计算优势。
• 在合成数据与真实世界应用中，证明基于坐标下降与块坐标下降的方法（HALS与ANLS）优于标准的乘法更新（MU）方法。

提出的方法

• 通过坐标下降原理，推导出卷积基张量（W）与激活矩阵（H）的闭式更新，将HALS算法适配至CNMF。
• 通过交替求解W与H的非负最小二乘子问题，将ANLS应用于CNMF，利用块坐标下降框架。
• 利用拉格朗日松弛与Karush-Kuhn-Tucker（KKT）条件，推导出W与H更新的闭式解，确保满足非负性约束。
• 通过张量与矩阵运算重述CNMF目标函数，以实现高效计算并更清晰地解释时序模式。
• 实施W与H之间的交替更新，每次更新在非负性约束下最小化重构误差，确保收敛性与可扩展性。
• 利用卷积模型的结构，在优化过程中隔离相关的时间段，降低每步更新的计算复杂度。

实验结果

研究问题

• RQ1 既有的高性能NMF算法（如HALS与ANLS）能否被有效扩展至CNMF框架，以提升优化效率？
• RQ2 在大规模时间序列数据上，HALS与ANLS相较于标准的乘法更新（MU）方法，在收敛速度与重构精度方面表现如何？
• RQ3 CNMF目标函数的哪些数学重表述能够实现更高效、更可解释的优化？
• RQ4 基于坐标下降与块坐标下降的方法能否为现实世界应用中的CNMF提供一种可扩展且鲁棒的替代MU的方法？
• RQ5 在从高维时间序列中提取短暂存在的时序模式时，HALS与ANLS相较于MU在计算与统计方面具有哪些优势？

主要发现

• HALS与ANLS在大规模合成与真实世界时间序列数据集上，相较于乘法更新（MU）方法，展现出显著更快的收敛速度与更低的重构误差。
• 所提出的HALS与ANLS算法在光谱图与神经元放电数据中识别短暂时序模式方面表现更优，无论在速度还是精度上均超越MU。
• 通过KKT条件推导出的闭式更新确保了非负性，并实现了高效优化，其中H的更新仅依赖于残差的局部时间片段。
• 对CNMF目标函数的重表述使卷积基可被清晰解释为具有时长L的时空特征，显著提升了模型的可解释性。
• 这些算法在大规模数据集上表现出良好的可扩展性，适用于神经科学、音频处理与医疗数据挖掘等现实世界应用。
• 实证结果表明，HALS与ANLS在迭代次数更少的情况下即可收敛，同时保持或提升重构质量，尤其在高噪声或高维场景下表现更优。