[論文レビュー] Improving Viterbi is Hard: Better Runtimes Imply Faster Clique Algorithms

Artūrs Bačkurs, Christos Tzamos|arXiv (Cornell University)|Jul 14, 2016

Algorithms and Data Compression参考文献 21被引用数 7

ひとこと要約

この論文は、Viterbiアルゴリズムの条件的下界を確立し、その実行時間を O(Tn²) 未満に改善することは、すべてのペアの最短経路（APSP）および最小重み k-クリークの予想という基本的予想を破るのと同程度に難しいことを証明している。さらに、遷移確率が少ない場合に 2^Ω(√log n) の高速化を達成する新しいアルゴリズムを提示しており、これはHMMに構造的制約がある場合にのみ進展が可能であることを示している。

ABSTRACT

The classic algorithm of Viterbi computes the most likely path in a Hidden Markov Model (HMM) that results in a given sequence of observations. It runs in time $O(Tn^2)$ given a sequence of $T$ observations from a HMM with $n$ states. Despite significant interest in the problem and prolonged effort by different communities, no known algorithm achieves more than a polylogarithmic speedup. In this paper, we explain this difficulty by providing matching conditional lower bounds. We show that the Viterbi algorithm runtime is optimal up to subpolynomial factors even when the number of distinct observations is small. Our lower bounds are based on assumptions that the best known algorithms for the All-Pairs Shortest Paths problem (APSP) and for the Max-Weight $k$-Clique problem in edge-weighted graphs are essentially tight. Finally, using a recent algorithm by Green Larsen and Williams for online Boolean matrix-vector multiplication, we get a $2^{Ω(\sqrt {\log n})}$ speedup for the Viterbi algorithm when there are few distinct transition probabilities in the HMM.

研究の動機と目的

• Viterbiアルゴリズムの実行時間を多項式対数要因を超えて改善するという長年の困難さを説明すること。
• Viterbiパスにおける多項式の高速化が、APSP や最小重み k-クリークといった基本的グラフ問題における画期的進展を意味することを確立すること。
• 特に遷移確率の種類が少ない場合に、高速化が可能かどうかを検討すること。
• アルファベットサイズが小さい場合でも、k-クリーク予想を用いてViterbiパスの条件的下界を提示すること。
• 遷移確率がスパースな場合に、最近の行列-ベクトル乗算の進展を活用して非自明な高速化を達成する新しいアルゴリズムを設計すること。

提案手法

• グラフの辺重みをHMMの遷移確率としてエンコードすることで、すべてのペアの最短経路（APSP）問題をViterbiパス問題に還元する。
• k-クリーク予想を用いて、観測の種類が少ない場合、特に T = Θ(n^C) およびアルファベットサイズ Θ(n^ε) の場合にViterbiパスの下界を導出する。
• 最小重み k-クリーク問題からの還元を用い、Viterbiパスが最小重み k-クリークに対応するHMMを構築する。
• Green LarsenとWilliamsによる最近のオンラインブール行列-ベクトル乗算アルゴリズムを応用し、遷移確率がスパースな場合に 2^Ω(√log n) の高速化を達成する。
• (min, +) 行列積の枠組みを用いて繰り返しのViterbiステップをモデル化し、反復自乗法による効率的計算を可能にする。
• Viterbiパスが (min, +) 行列-ベクトル積の逐次列として表現できることを活用し、(min, +) 行列乗算の最良の既存アルゴリズムを用いて実行時間を最適化する。

実験結果

リサーチクエスチョン

• RQ1 Viterbiアルゴリズムの実行時間を多項式対数要因を超えて改善することは可能か？
• RQ2 より速いViterbiアルゴリズムを排除するための条件的ハードネス仮定は何か？
• RQ3 遷移確率の種類が少ない場合にViterbiパス問題をより速く解くことは可能か？
• RQ4 Viterbiパスの難易度は、APSP や k-クリークといった基本的問題とどのように関係しているか？
• RQ5 HMMの構造的制約の下で、Viterbiパスの最良の実行時間改善は何か？

主な発見

• 任意の ε > 0 に対して、APSP予想が誤りでない限り、Viterbiパス問題は O(Tn²)^{1−ε} 時間で解けない。これは条件的下界を確立する。
• T = Θ(n^C) の観測とアルファベットサイズ Θ(n^ε) のHMMに対して、k = ⌈C/ε⌉ + 2 に対する k-クリーク予想を仮定すると、Viterbiパス問題は Ω(Tn²)^{1−o(1)} 時間を要する。
• 遷移確率の種類が少ない場合に、高度な行列-ベクトル乗算技術を用いて、Viterbiアルゴリズムで 2^Ω(√log n) の高速化が達成可能である。
• T ≤ n かつアルファベットサイズ σ = 1 の場合、APSP予想を仮定すれば、Viterbiパス問題はAPSP-hardである。
• 同じ条件下で、最短ウォーク問題もAPSP-hardであり、これはユニタリアルファベット領域におけるViterビパスの難易度を示すために用いられる。
• ある α > 0 に対して、Viterbiパス問題は NTIME((Tn²)^{1−α}) ∩ coNTIME((Tn²)^{1−α}) に属する。これは、より速いアルゴリズムが得られるには、非自明な非決定的化または計算複雑性理論の画期的進展が不可欠であることを示唆している。