[論文レビュー] The Viterbi Algorithm: A Personal History

G. David Forney|ArXiv.org|Apr 6, 2005

Error Correcting Code Techniques参考文献 32被引用数 55

ひとこと要約

この個人的回想は、畳み込み符号のデコーディングのために開発されたビタビアルゴリズム（VA）の発明、最適性の発見、実用的実装の歴史を述べるものである。VAは当初、理論的に劣った手法として扱われていたが、後に通信分野をはじめとする最大尤度デコーディングの基盤へと進化し、後に音声認識や計算生物学などの分野で隠れマルコフモデルのデコーディングの基盤となった。

ABSTRACT

The story of the Viterbi algorithm (VA) is told from a personal perspective. Applications both within and beyond communications are discussed. In brief summary, the VA has proved to be an extremely important algorithm in a surprising variety of fields.

研究の動機と目的

• 理論的ツールから実用的デコーディング基準へと進化したビタビアルゴリズムの発展の個人的・技術的経路を再構成すること。
• ビタビアルゴリズムが当初は実用的でないと見なされていたという誤解を解き明かすこと。
• 個人的記憶と技術的進化の視点を通じて、特に『VAが最適な最大尤度デコーダーである』という核心的洞察を文書化すること。
• 通信分野を超えて音声認識や計算生物学などに広く応用されたアルゴリズムの影響を強調すること。特に、隠れマルコフモデルのデコーディングにおける標準的手法となったこと。
• 後続研究者たちの仕事によって、動的計画法、尤度伝搬、その他の推論手法と統合された概念的統一をたどること。

提案手法

• ビタビアルゴリズムは、畳み込み符号の誤り確率の漸近的上限を証明するための方法として考案された。再帰的パスマッチング手法を用いた。
• アルゴリズムはトレリス図を用いて畳み込み符号におけるすべての状態遷移を表現し、各状態で最も可能性の高いパス（サバイバー）のみを保持することで、計算量を削減する。
• 主な革新は、各時刻における各状態への最良パス（サバイバー）を保持する手法であり、これにより保存領域を q^K から q^K に削減し、効率的なデコーディングを可能にした。
• 後に、このアルゴリズムはトレリスにおける最短経路問題の正確な解法であることが判明した。これは、無記憶雑音下の有限状態系における最大尤度デコーディングと同等であった。
• ジム・オムラによって動的計画法との関連が形式化され、最適パス選択の前方のみの再帰的アルゴリズムとしてVAが明確に定式化された。
• 1973年のチュートリアルで、アルゴリズムが隠れマルコフモデル（HMM）への一般化が可能であることが示され、音声認識やその他のパターン認識タスクへの応用が可能になった。

実験結果

リサーチクエスチョン

• RQ1 ビタビアルゴリズムは、理論的構造からどのように実用的デコーディング手法へと進化したのであろうか？
• RQ2 なぜビタビアルゴリズムは当初、劣ったと見なされ、実用的でないとされたのであろうか？ その一方で、通信分野で支配的となった背景には何があったのか？
• RQ3 なぜビタビアルゴリズムが実際に最適な最大尤度デコーダーであると認識されるようになったのであろうか？
• RQ4 アルゴリズムの採用は通信分野を超えて、音声認識や計算生物学といった分野へとどのように拡大したのであろうか？
• RQ5 ビタビアルゴリズムは、尤度伝搬や和積アルゴリズムなどの他の推論アルゴリズムと、どのような概念的統一を達成したのであろうか？

主な発見

• ビタビアルゴリズムは、1967年に発表された当初、高コストな記憶領域を要するとして理論的に劣ったと見なされ、実用的でないとされた。
• 後に、このアルゴリズムがトレリスにおける最短経路問題を解くものであるという洞察により、最適な最大尤度デコーダーであると認識された。最初の形式的証明は、著者が1967年の技術報告で行った。
• ジェリー・ヘラーによるJPLでの1968年から1969年のシミュレーションによって、わずか64状態のコードで6 dBのコーディングゲインを達成したことが実証され、実用性が裏付けられた。
• ビタビアルゴリズムは、宇宙探査や音声帯域通信システムにおける畳み込み符号のデコーディングの標準となった。逐次的・代数的デコーディング手法を上回った。
• 隠れマルコフモデルへの一般化により、音声認識や計算生物学分野で広く採用され、1973年のチュートリアル論文は著者にとって最も引用された論文（734件の引用）となった。
• 後に、ビタビアルゴリズムはグラフベースのデコーディングにおける最小和アルゴリズムと同等であると認識されたが、前方のみの処理という性質のおかげで、リアルタイムシステムには二方向処理を要するアルゴリズムよりも実用的であった。