[논문 리뷰] A temporally abstracted Viterbi algorithm

Shaunak Chatterjee, Stuart Russell|arXiv (Cornell University)|2012. 02. 14.

Algorithms and Data Compression참고 문헌 12인용 수 11

한 줄 요약

이 논문은 상태 전이가 매우 다른 시간 스케일에서 발생하는 시스템에서, 더 넓은 시간 스케일의 경계를 활용하여 더 세밀한 시간 스케일에서 상태 트렐리스를 잘라내는 시간 추상화 기반의 Viterbi 알고리즘을 제안한다. 다양한 상태 역학을 가진 시스템에서 시간 추상화를 활용함으로써, 표준 Viterbi 알고리즘보다 수 개체의 속도 향상과 다중 속도 문제에서 기존의 굵은-세밀한 동적 프로그래밍(CFDP)보다도 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Hierarchical problem abstraction, when applicable, may offer exponential reductions in computational complexity. Previous work on coarse-to-fine dynamic programming (CFDP) has demonstrated this possibility using state abstraction to speed up the Viterbi algorithm. In this paper, we show how to apply temporal abstraction to the Viterbi problem. Our algorithm uses bounds derived from analysis of coarse timescales to prune large parts of the state trellis at finer timescales. We demonstrate improvements of several orders of magnitude over the standard Viterbi algorithm, as well as significant speedups over CFDP, for problems whose state variables evolve at widely differing rates.

연구 동기 및 목표

• 상태 변수가 매우 다른 시간 스케일에서 진동하는 시스템에서 표준 Viterbi 알고리즘의 계산 비효율성을 해결하기 위해.
• 시간 추상화를 통합하여 굵은-세밀한 동적 프로그래밍(CFDP)을 확장함으로써 계층적 모델에서 더 빠른 추론을 가능하게 하기 위해.
• 시간 경계 기반의 잘라내기 전략을 통해 은닉 마르코프 모델(HMM)의 시퀀스 디코딩에 대한 계산 복잡도를 감소시키기 위해.
• 다양한 시간 스케일을 가진 시간적 시스템에서 표준 Viterbi 알고리즘과 기존의 CFDP 접근 방식보다 뚜렷한 속도 향상을 입증하기 위해.

제안 방법

• 알고리즘은 더 넓은 시간 스케일에서 상태 전이를 분석함으로써 상태 시퀀스의 가능도에 대한 경계를 도출한다.
• 이러한 넓은 스케일 경계를 활용하여 더 세밀한 시간 스케일에서 상태 트렐리스의 큰 부분을 손상 없이 제거한다.
• 동적 프로그래밍과 계층적 상태 추상화를 통합함으로써 Viterbi 알고리즘의 최적성은 유지하면서 탐색 공간을 줄인다.
• 넓은 수준의 분석에서 유도된 상한과 하한 기반의 잘라내기 규칙을 적용하여, 세밀한 수준에서 탐색되는 경로가 반드시 실현 가능하도록 보장한다.
• 시간 추상화와 Viterbi 스타일의 재귀를 결합함으로써 다중 속도 HMM에서 효율적인 계산을 가능하게 한다.
• 알고리즘은 동적 프로그래밍 원리에 엄격히 기반하며, 상태 전이 확률과 관측 확률에서 유도된 경계를 사용한다.

실험 결과

연구 질문

• RQ1 시간 추상화가 다중 속도 시스템에서 계산 비용을 줄이기 위해 Viterbi 알고리즘에 효과적으로 적용될 수 있는가?
• RQ2 넓은 시간 스케일 경계가 최적성 손실 없이 상태 트렐리스의 잘라내기 효율성을 어떻게 향상시키는가?
• RQ3 제안된 방법이 표준 Viterbi 알고리즘과 기존의 CFDP 접근 방식에 비해 속도와 확장성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 시간 추상화가 상태 역학이 매우 다른 시스템에서 HMM 디코딩의 탐색 공간 감소에 미치는 영향은 어떠한가?

주요 결과

• 제안된 알고리즘은 다중 속도 HMM 문제에서 표준 Viterbi 알고리즘보다 수 개체의 속도 향상을 달성한다.
• 특히 상태 변수 간 시간 격차가 큰 시스템에서 굵은-세밀한 동적 프로그래밍(CFDP)에 비해 뚜렷한 성능 향상을 보인다.
• 알고리즘은 Viterbi 알고리즘의 최적성을 유지하면서 탐색되는 상태 수와 전이 수를 크게 줄인다.
• 시간 추상화를 통해 넓은 스케일 경계를 활용하여 상태 트렐리스의 효과적인 잘라내기가 가능해져 상당한 계산 절감 효과를 얻는다.