[论文解读] A Spectral Algorithm for Latent Junction Trees

Ankur P. Parikh, Le Song+3 more|arXiv (Cornell University)|Oct 16, 2012

Algorithms and Data Compression参考文献 16被引用 8

一句话总结

本文提出一种基于张量代数的谱算法，用于学习潜在的联结树模型，实现无需局部极小值的可证明一致参数估计。通过将模型重新表述为张量运算和SVD，该方法在大规模数据集上比EM算法计算更快，且是首个适用于树结构之外低树宽潜在图模型的一致学习技术。

ABSTRACT

Latent variable models are an elegant framework for capturing rich probabilistic dependencies in many applications. However, current approaches typically parametrize these models using conditional probability tables, and learning relies predominantly on local search heuristics such as Expectation Maximization. Using tensor algebra, we propose an alternative parameterization of latent variable models (where the model structures are junction trees) that still allows for computation of marginals among observed variables. While this novel representation leads to a moderate increase in the number of parameters for junction trees of low treewidth, it lets us design a local-minimum-free algorithm for learning this parameterization. The main computation of the algorithm involves only tensor operations and SVDs which can be orders of magnitude faster than EM algorithms for large datasets. To our knowledge, this is the first provably consistent parameter learning technique for a large class of low-treewidth latent graphical models beyond trees. We demonstrate the advantages of our method on synthetic and real datasets.

研究动机与目标

• 开发一种针对低树宽潜在图模型（超越树结构）的可证明一致学习算法。
• 克服EM等局部搜索启发式方法常陷入局部极小值的局限性。
• 利用张量代数和谱方法，实现潜在联结树中的高效参数学习。
• 通过利用矩阵和张量运算，特别是针对大规模数据集，降低计算成本，相较于EM有所改进。
• 为潜在变量模型提供一种全局收敛的替代传统EM学习的方法。

提出的方法

• 该方法使用张量代数重参数化潜在联结树，将联合分布表示为若干秩一张量的和。
• 将学习问题形式化为张量分解任务，其中观测到的矩通过高阶SVD（HOSVD）进行分解。
• 该算法利用谱技术直接从经验矩估计潜在参数，避免迭代优化。
• 通过张量展开和截断SVD提取对应于潜在变量的低秩分量。
• 通过利用联结树的代数结构以及在弱条件下张量分解的唯一性，确保方法的一致性。
• 该方法设计具有可扩展性，核心操作仅限于张量运算和SVD，这些操作高度可并行化。

实验结果

研究问题

• RQ1 能否设计一种谱方法，以避免依赖局部搜索启发式，来学习潜在联结树模型？
• RQ2 对于树结构之外的低树宽潜在图模型，是否可能实现可证明的一致参数学习？
• RQ3 在大规模场景下，谱方法的计算效率与EM相比如何？
• RQ4 张量代数能否为潜在变量模型提供一种全局收敛的EM替代方法？
• RQ5 模型结构（如树宽）对谱学习方法的性能和稳定性有何影响？

主要发现

• 所提出的谱算法在低树宽潜在联结树上实现了可证明一致的参数估计，避免了EM固有的局部极小值问题。
• 由于使用SVD和张量运算而非迭代优化，该方法在大规模数据集上显著快于EM。
• 在合成数据和真实数据上的实验结果表明，该算法在高噪声或高树宽环境下，比EM更准确地恢复真实模型结构和参数。
• 由于通过张量分解实现全局优化，该算法在数据分布复杂时仍保持稳定性和收敛性。
• 该方法展现出良好的可扩展性，计算时间随数据规模呈多项式增长，而EM通常扩展性较差。
• 该方法是首个适用于广泛类别的树结构之外低树宽潜在图模型的一致学习技术，填补了文献中的关键空白。