[论文解读] Improving Viterbi is Hard: Better Runtimes Imply Faster Clique Algorithms

Artūrs Bačkurs, Christos Tzamos|arXiv (Cornell University)|Jul 14, 2016

Algorithms and Data Compression参考文献 21被引用 7

一句话总结

该论文为维特比算法建立了条件下界，证明将运行时间改进至 O(Tn²) 以下的难度，等价于打破图算法中的基本猜想——特别是全源最短路径（APSP）和最小权 k-圈（Min-Weight k-Clique）猜想。此外，论文提出了一种新算法，在转移概率稀疏时实现了 2^Ω(√log n) 的加速，表明只有在隐马尔可夫模型（HMM）具有特定结构约束时，性能提升才可能实现。

ABSTRACT

The classic algorithm of Viterbi computes the most likely path in a Hidden Markov Model (HMM) that results in a given sequence of observations. It runs in time $O(Tn^2)$ given a sequence of $T$ observations from a HMM with $n$ states. Despite significant interest in the problem and prolonged effort by different communities, no known algorithm achieves more than a polylogarithmic speedup. In this paper, we explain this difficulty by providing matching conditional lower bounds. We show that the Viterbi algorithm runtime is optimal up to subpolynomial factors even when the number of distinct observations is small. Our lower bounds are based on assumptions that the best known algorithms for the All-Pairs Shortest Paths problem (APSP) and for the Max-Weight $k$-Clique problem in edge-weighted graphs are essentially tight. Finally, using a recent algorithm by Green Larsen and Williams for online Boolean matrix-vector multiplication, we get a $2^{Ω(\sqrt {\log n})}$ speedup for the Viterbi algorithm when there are few distinct transition probabilities in the HMM.

研究动机与目标

• 解释长期以来难以将维特比算法的运行时间改进超过对数因子的原因。
• 建立维特比路径问题的条件性下界，证明任何多项式时间加速都将导致对全源最短路径（APSP）和最小权 k-圈（Min-Weight k-Clique）等基础图问题的突破。
• 探讨在结构约束下（特别是不同转移概率数量较少时）是否可能实现加速。
• 即使在字母表大小较小时，也使用 k-圈猜想为维特比路径问题建立条件性下界。
• 设计一种新算法，在转移概率稀疏时实现非平凡加速，利用了近期在矩阵-向量乘法方面的进展。

提出的方法

• 通过将图边权编码为 HMM 的转移概率，将全源最短路径（APSP）问题归约为维特比路径问题。
• 利用 k-圈猜想，推导出当观测值数量较少时（特别是 T = Θ(n^C) 且字母表大小为 Θ(n^ε) 时）维特比路径问题的下界。
• 通过最小权 k-圈问题的归约，构建一个 HMM，使得其维特比路径对应于一个最小权 k-圈。
• 应用 Green Larsen 和 Williams 最近提出的在线布尔矩阵-向量乘法算法，在转移概率稀疏的情况下实现 2^Ω(√log n) 的加速。
• 采用 (min, +) 矩阵乘积框架对重复的维特比步骤进行建模，通过重复平方实现高效计算。
• 利用维特比路径可表示为一系列 (min, +) 矩阵-向量乘积的事实，并采用 (min, +) 矩阵乘法的最优已知算法以优化运行时间。

实验结果

研究问题

• RQ1 是否可能在维特比算法的运行时间上实现超越对数因子的多项式加速？
• RQ2 哪些条件性困难假设会排除更快的维特比算法？
• RQ3 当不同转移概率的数量较小时，能否更快求解维特比路径问题？
• RQ4 维特比路径问题的困难性与 APSP 和 k-圈等基础问题有何关联？
• RQ5 在 HMM 的结构约束下，维特比路径问题的最佳可能运行时间改进是什么？

主要发现

• 除非 APSP 猜想不成立，否则维特比路径问题无法在 O(Tn²)^{1−ε} 时间内求解（对任意 ε > 0），从而建立了条件性下界。
• 对于具有 T = Θ(n^C) 个观测值和字母表大小为 Θ(n^ε) 的 HMM，假设 k-圈猜想成立（其中 k = ⌈C/ε⌉ + 2），维特比路径问题需要 Ω(Tn²)^{1−o(1)} 时间。
• 当不同转移概率数量较少时，通过先进矩阵-向量乘法技术，维特比算法可实现 2^Ω(√log n) 的加速。
• 在字母表大小为 1（即一元字母表）的情况下，维特比路径问题在 T ≤ n 时仍为 APSP-hard，前提是 APSP 猜想成立。
• 在相同条件下，最短路径问题（Shortest Walk）也为 APSP-hard，该结果被用于证明一元字母表情形下维特比路径问题的困难性。
• 维特比路径问题属于 NTIME((Tn²)^{1−α}) ∩ coNTIME((Tn²)^{1−α})（对某个 α > 0），表明任何更快的算法都需非平凡的去随机化或复杂性理论突破。