[论文解读] Learning higher-order sequential structure with cloned HMMs

Antoine Dedieu, Nishad Gothoskar+4 more|arXiv (Cornell University)|May 1, 2019

Topic Modeling参考文献 28被引用 6

一句话总结

本文提出克隆隐马尔可夫模型（CHMMs），一种具有稀疏性约束的HMM变体，通过克隆隐藏状态以确定性地映射到相同发射状态，实现对可变阶数序列结构的高效学习。CHMMs在字符级语言建模中优于n-gram、序列记忆器和LSTM，能够有效处理长程依赖和上下文中的'空洞'，且无需指数级的数据增长。

ABSTRACT

Variable order sequence modeling is an important problem in artificial and natural intelligence. While overcomplete Hidden Markov Models (HMMs), in theory, have the capacity to represent long-term temporal structure, they often fail to learn and converge to local minima. We show that by constraining HMMs with a simple sparsity structure inspired by biology, we can make it learn variable order sequences efficiently. We call this model cloned HMM (CHMM) because the sparsity structure enforces that many hidden states map deterministically to the same emission state. CHMMs with over 1 billion parameters can be efficiently trained on GPUs without being severely affected by the credit diffusion problem of standard HMMs. Unlike n-grams and sequence memoizers, CHMMs can model temporal dependencies at arbitrarily long distances and recognize contexts with 'holes' in them. Compared to Recurrent Neural Networks and their Long Short-Term Memory extensions (LSTMs), CHMMs are generative models that can natively deal with uncertainty. Moreover, CHMMs return a higher-order graph that represents the temporal structure of the data which can be useful for community detection, and for building hierarchical models. Our experiments show that CHMMs can beat n-grams, sequence memoizers, and LSTMs on character-level language modeling tasks. CHMMs can be a viable alternative to these methods in some tasks that require variable order sequence modeling and the handling of uncertainty.

研究动机与目标

• 解决在可变阶数序列中学习高阶序列依赖的挑战，尤其针对标准HMM因信用扩散而失效的情况。
• 克服n-gram和序列记忆器的局限性，后者在建模包含'空洞'（无关中间符号）的上下文时需要指数级数据增长。
• 开发一种原生处理不确定性的生成模型，与LSTM等判别模型不同。
• 利用标准EM算法在GPU上高效训练和推理具有超过10亿参数的过完备HMM。
• 通过高阶图结构提供时序依赖的结构化、可解释表示，适用于分层建模和社区检测。

提出的方法

• 在发射矩阵中引入稀疏性结构，允许多个隐藏状态（克隆）确定性地映射到同一发射状态，受生物神经组织和动态马尔可夫编码的启发。
• 将CHMM形式化为具有每发射符号分裂容量的约束HMM，使学习算法可根据数据模式动态分配克隆。
• 使用标准期望最大化（Baum-Welch）及其在线变体进行训练，利用稀疏性避免过完备HMM中常见的信用扩散问题。
• 定义截断算子 $\bar{M}^k$ 以确保收敛性，通过压缩映射和利普希茨连续性提供理论保证。
• 引入群体层面分析，使用 $\psi(k)$ 和 $\epsilon(N,k,\delta)$ 以界 approximation 和 estimation 误差，证明模型收敛至真实模型。
• 通过避免贪婪状态分裂来确保模型灵活性；相反，初始化时采用稀疏发射矩阵，由学习过程决定最优克隆使用。

实验结果

研究问题

• RQ1 与标准HMM、n-gram或LSTM相比，稀疏性约束的HMM架构是否能更高效地学习可变阶数序列依赖？
• RQ2 发射矩阵中的克隆结构是否能缓解过完备HMM在训练过程中出现的信用扩散问题？
• RQ3 CHMMs是否能在不需指数级数据增长的前提下，对具有'空洞'（无关中间符号）的长程时间依赖和上下文进行建模？
• RQ4 CHMMs的生成性质和可解释性与LSTM等判别模型在序列建模任务中的表现相比如何？
• RQ5 CHMMs是否能生成序列结构的高阶图表示，以支持社区检测或分层建模等下游任务？

主要发现

• 在多个英文文本数据集上，CHMMs在字符级语言建模任务中优于标准HMM、n-gram、序列记忆器和LSTM。
• CHMMs在GPU上高效训练，即使参数量超过10亿，仍能保持对信用扩散问题的鲁棒性。
• 模型过完备约1000倍且极度稀疏，反映出对序列生成的学得的、结构化的表示。
• CHMMs可建模任意长的时间依赖，而无需预先指定阶数，这与n-gram和序列记忆器不同。
• 当上下文包含'空洞'（无关中间符号）时，CHMMs保持性能而无需指数级数据增长，而n-gram和序列记忆器则需指数级更多数据。
• 理论分析证实，CHMMs以速率 $r^{\textsc{CHMM}}(N,k,\delta) < r^{\textsc{HMM}}(N,k,\delta)$ 收敛至真实模型，这是由于估计误差和近似误差的界更紧。