[논문 리뷰] Improving Viterbi is Hard: Better Runtimes Imply Faster Clique Algorithms

Artūrs Bačkurs, Christos Tzamos|arXiv (Cornell University)|2016. 07. 14.

Algorithms and Data Compression참고 문헌 21인용 수 7

한 줄 요약

이 논문은 비터비 알고리즘에 대한 조건부 하한을 설정하여, 런타임을 O(Tn²) 이하로 개선하는 것은 그래프 알고리즘의 기본 추측—특히 전쌍 최단경로(APSP) 및 최소무게 k-클리크 추측—을 뛰어넘는 것과 비슷한 난이도임을 증명한다. 또한 전이 확률이 적을 경우 2^Ω(√log n)의 속도 향상이 가능한 새로운 알고리즘을 제시하여, 히든 마르코프 모델(HMM)의 구조적 제약 조건 하에서만 진전이 가능함을 보여준다.

ABSTRACT

The classic algorithm of Viterbi computes the most likely path in a Hidden Markov Model (HMM) that results in a given sequence of observations. It runs in time $O(Tn^2)$ given a sequence of $T$ observations from a HMM with $n$ states. Despite significant interest in the problem and prolonged effort by different communities, no known algorithm achieves more than a polylogarithmic speedup. In this paper, we explain this difficulty by providing matching conditional lower bounds. We show that the Viterbi algorithm runtime is optimal up to subpolynomial factors even when the number of distinct observations is small. Our lower bounds are based on assumptions that the best known algorithms for the All-Pairs Shortest Paths problem (APSP) and for the Max-Weight $k$-Clique problem in edge-weighted graphs are essentially tight. Finally, using a recent algorithm by Green Larsen and Williams for online Boolean matrix-vector multiplication, we get a $2^{Ω(\sqrt {\log n})}$ speedup for the Viterbi algorithm when there are few distinct transition probabilities in the HMM.

연구 동기 및 목표

• 비터비 알고리즘의 런타임을 다항로그 인자 이상으로 향상시키는 데 오랫동안 어려움을 겪는 이유를 설명하는 것.
• 비터비 경로에서 다항식 속도 향상이 가능하다면, APSP 및 최소무게 k-클리크와 같은 기본 그래프 문제에서의 돌풍을 이끌어내는 것임을 입증하는 것.
• 전이 확률의 수가 적을 경우 속도 향상이 가능한지 탐색하는 것, 특히 전이 확률의 수가 적을 경우에 초점을 맞추는 것.
• 알파벳 크기가 작을 경우에도 비터비 경로에 대한 조건부 하한을 k-클리크 추측을 사용하여 설정하는 것.
• 전이 확률이 희박할 경우에 비터비 알고리즘의 비트를 비트로 향상시키는 새로운 알고리즘을 설계하는 것. 이는 최근의 행렬-벡터 곱셈 기술의 발전을 활용한다.

제안 방법

• 그래프 간선 가중치를 HMM 전이 확률로 인코딩하여 전쌍 최단경로(APSP) 문제를 비터비 경로 문제로 환원한다.
• k-클리크 추측을 사용하여 관측 수가 적을 경우 비터비 경로 문제에 대한 하한을 유도한다. 특히 T = Θ(n^C) 및 알파벳 크기 Θ(n^ε)일 경우에 해당한다.
• 최소무게 k-클리크 문제에서의 환원을 통해, 비터비 경로가 최소무게 k-클리크에 해당하는 HMM을 구성한다.
• Green Larsen와 Williams가 최근 개발한 온라인 부울 행렬-벡터 곱셈 알고리즘을 적용하여, 전이 확률이 희박한 경우 2^Ω(√log n)의 속도 향상을 달성한다.
• (min, +) 행렬 곱셈 프레임워크를 사용하여 반복적인 비터비 단계를 모델링하고, 반복 제곱법을 통해 효율적인 계산을 가능하게 한다.
• 비터비 경로가 (min, +) 행렬-벡터 곱의 연속으로 표현될 수 있음을 활용하고, (min, +) 행렬 곱셈에 대해 최고의 알고리즘을 적용하여 런타임을 최적화한다.

실험 결과

연구 질문

• RQ1 비터비 알고리즘의 런타임을 다항로그 인자 이상으로 향상시키는 것은 가능한가?
• RQ2 더 빠른 비터비 알고리즘을 배제하기 위한 조건부 딱지가 무엇인가?
• RQ3 전이 확률의 수가 적을 경우 비터비 경로 문제는 더 빠르게 해결될 수 있는가?
• RQ4 비터비 경로 문제의 난이도는 APSP 및 k-클리크와 같은 기본 문제와 어떻게 관련이 있는가?
• RQ5 히든 마르코프 모델(HMM)의 구조적 제약 조건 하에서 비터비 경로의 최고의 런타임 향상은 무엇인가?

주요 결과

• APSP 추측이 참이 아닐 경우, 비터비 경로 문제는 O(Tn²)^{1−ε} 시간 내에 해결될 수 없다. 이는 조건부 하한을 설정한다.
• T = Θ(n^C) 관측과 알파벳 크기 Θ(n^ε)를 가진 HMM에 대해, k = ⌈C/ε⌉ + 2일 때 k-클리크 추측을 가정하면 비터비 경로 문제는 Ω(Tn²)^{1−o(1)} 시간이 필요하다.
• 전이 확률의 수가 적을 경우, 고급 행렬-벡터 곱셈 기술을 활용하여 비터비 알고리즘에서 2^Ω(√log n)의 속도 향상이 가능하다.
• 알파벳 크기가 1인 경우(단일 알파벳), APSP 추측이 참일 경우 비터비 경로 문제도 APSP-하드하다.
• 같은 조건 하에서 최단보행(Shortest Walk) 문제 역시 APSP-하드하며, 이는 단일 알파벳 영역에서 비터비 경로 문제의 난이도를 증명하는 데 사용된다.
• 비터비 경로 문제는 어떤 α > 0에 대해 NTIME((Tn²)^{1−α}) ∩ coNTIME((Tn²)^{1−α})에 속한다. 이는 더 빠른 알고리즘이 가능하려면 비트로의 랜덤화 제거 또는 복잡도론적 돌풍이 필요함을 시사한다.