[논문 리뷰] The Viterbi Algorithm: A Personal History

G. David Forney|ArXiv.org|2005. 04. 06.

Error Correcting Code Techniques참고 문헌 32인용 수 55

한 줄 요약

이 개인적 기록은 Viterbi 알고리즘(VA)의 발명, 최적성의 발견, 실용적 구현 과정을 기록한다. 원래는 컨volution 코드 복호화를 위해 개발된 VA는 이론적으로 열 劣한 방법으로 여겨졌으나, 나중에 통신 분야뿐 아니라 최대우도 복호화의 기초가 되었고, 이후 음성 인식, 계산 생물학 등 다양한 분야에서 은닉 마르코프 모델(HMM)의 핵심 도구로 자리 잡았다.

ABSTRACT

The story of the Viterbi algorithm (VA) is told from a personal perspective. Applications both within and beyond communications are discussed. In brief summary, the VA has proved to be an extremely important algorithm in a surprising variety of fields.

연구 동기 및 목표

• 이론적 도구에서 실용적 복호화 표준으로 발전한 Viterbi 알고리즘의 개인적·기술적 여정을 기록하는 것.
• Viterbi 알고리즘이 최초에는 비실용적이라 여겨졌음에도 불구하고 후에 광범위하게 채택된 점을 바로잡는 것.
• 특히 Viterbi 알고리즘이 최적의 최대우도 복호기라는 인사이트를 개인적 기억과 기술적 발전의 관점에서 기록하는 것.
• 통신 분야를 넘어 음성 인식 및 계산 생물학 등에서 은닉 마르코프 모델 복호화의 표준 방법으로 자리 잡은 알고리즘의 광범위한 영향을 부각하는 것.
• 후속 연구자들의 작업을 통해 동적 프ogramming, 신뢰도 전파, 기타 추론 방법과의 개념적 통합을 추적하는 것.

제안 방법

• Viterbi 알고리즘은 원래 컨볼루션 코드의 오류 확률에 대한 渐近 상한을 증명하기 위해 고안되었으며, 재귀적 경로 매칭 방법을 사용했다.
• 이 알고리즘은 컨볼루션 코드의 모든 가능한 상태 전이를 표현하기 위해 트렐리스 다이어그램을 사용하며, 각 상태에서 가장 가능성 높은 경로(생존자)만 유지함으로써 복잡도를 감소시킨다.
• 핵심 혁신은 각 시간 단계에서 각 상태로의 최선의 경로(생존자)를 유지하는 방식이었으며, 이로 인해 저장 공간이 q^K에서 q^K로 감소하여 효율적인 복호화가 가능해졌다.
• 이후 알고리즘은 트렐리스에서 최단 경로 문제의 정확한 해법으로 밝혀졌으며, 기억 없는 노이즈 환경에서 유한 상태 시스템의 최대우도 복호화와 동치임을 입증했다.
• 짐 옴우라(Jim Omura)에 의해 동적 프로그래밍과의 연결이 공식화되었으며, 최적 경로 선택을 위한 전진 방향의 재귀 알고리즘이라는 것이 입증되었다.
• 1973년 투터리얼에서 은닉 마르코프 모델(HMM)에 대한 일반화가 이루어져 음성 인식 및 기타 패턴 인식 작업에서의 응용이 가능해졌다.

실험 결과

연구 질문

• RQ1 Viterbi 알고리즘이 이론적 개념에서 컨볼루션 코드 복호화의 실용적 해법으로 어떻게 발전했는가?
• RQ2 왜 Viterbi 알고리즘은 최초에는 열 劣한 것으로 여겨졌으며 비실용적이라 여겨졌는가, 그럼에도 불구하고 통신 분야에서 지배적인 위치를 차지하게 되었는가?
• RQ3 어떻게 Viterbi 알고리즘이 실제로 최적의 최대우도 복호기라는 것이 인식되었는가?
• RQ4 이 알고리즘이 통신 분야를 넘어 음성 인식 및 계산 생물학 등으로 확산된 이유는 무엇인가?
• RQ5 Viterbi 알고리즘은 신뢰도 전파 및 합-곱 알고리즘과 같은 다른 추론 알고리즘과 어떤 개념적 통합을 이루었는가?

주요 결과

• Viterbi 알고리즘은 1967년에 발표되었지만, 높은 저장 공간 요구로 인해 처음에는 열 劣한 것으로 여겨졌고 비실용적이라 여겨졌다.
• 이후 알고리즘이 트렐리스에서 최단 경로 문제를 해결한다는 인사이트를 얻었으며, 첫 번째 공식적 증명은 저자가 1967년 기술 보고서에서 제시하였다.
• 제리 헬러(Jerry Heller)의 제플러(JPL)에서 수행한 시뮬레이션(1968–69년)을 통해 단지 64개 상태의 코드로도 6 dB의 코딩 이득을 얻을 수 있음을 입증하여 실용성이 입증되었다.
• Viterbi 알고리즘은 우주 및 음성 대역 통신 시스템에서 컨볼루션 코드 복호화의 표준이 되었으며, 순차적 복호화 및 대수적 복호화 방법보다 뛰어난 성능을 보였다.
• 은닉 마르코프 모델(HMM)으로의 일반화로 인해 음성 인식 및 계산 생물학 분야에서 널리 사용되었으며, 1973년 투터리얼 논문은 저자의 논문 중 가장 많이 인용된 논문(734회 인용)이 되었다.
• 후에 Viterbi 알고리즘이 그래프 기반 복호화에서 최소합 알고리즘(min-sum algorithm)과 동치임을 인식했지만, 전진 방향 전용이라는 특성 덕분에 실시간 시스템에서는 양방향 알고리즘보다 더 실용적이었다.