[論文レビュー] Viterbi Algorithm Generalized for n-Tape Best-Path Search

André Kempe|arXiv (Cornell University)|Dec 7, 2006

Algorithms and Data Compression参考文献 20被引用数 5

ひとこと要約

この論文は、与えられたn個の入力文字列を受理するnテープ重み付き有限状態機械（n-WFSM）における最小または最大重みパスを効率的に計算するために、バイタビアルゴリズムを一般化する。バイタビアルゴリズムの動的計画法アプローチを、複数の入力文字列を同時に処理できるように拡張することで、最悪計算量はO(|s|ⁿ|E|log|s|ⁿ|Q|)に抑えられ、標準的な積集合と最短経路探索の代替手法よりも効率的であり、n項変換タスクにおいて顕著な性能向上を実現する。

ABSTRACT

We present a generalization of the Viterbi algorithm for identifying the path with minimal (resp. maximal) weight in a n-tape weighted finite-state machine (n-WFSM), that accepts a given n-tuple of input strings (s_1,... s_n). It also allows us to compile the best transduction of a given input n-tuple by a weighted (n+m)-WFSM (transducer) with n input and m output tapes. Our algorithm has a worst-case time complexity of O(|s|^n |E| log (|s|^n |Q|)), where n and |s| are the number and average length of the strings in the n-tuple, and |Q| and |E| the number of states and transitions in the n-WFSM, respectively. A straight forward alternative, consisting in intersection followed by classical shortest-distance search, operates in O(|s|^n (|E|+|Q|) log (|s|^n |Q|)) time.

研究の動機と目的

• 与えられたn個の入力文字列を受理するnテープ重み付き有限状態機械（n-WFSM）における最適（最小または最大重み）パスを求める問題に対処すること。
• n個の入力とm個の出力を同時に処理する(n+m)テープ重み付き変換機によって、与えられた入力nタプルの最良変換を効率的にコンパイルできることを可能にすること。
• 単一パスn-WFSMとの積集合をとった後、古典的な最短経路アルゴリズムを適用するという標準的手法の高い計算コストを克服すること。
• 元来HMMにおける単一入力列用に設計された古典的バイタビアルゴリズムを、n-WFSMにおけるn個の入力文字列タプルに対応できるように一般化すること。

提案手法

• n個の入力文字列の各位置の組み合わせを表す状態集合を維持するように、バイタビアルゴリズムの動的計画法フレームワークを拡張する。
• 各ステップで、以前の状態からのすべての入力遷移を考慮し、優先度キュー（フィボナッチヒープ）を用いて最良（最小または最大重み）の先行状態を選択することで、各状態への最良パスを計算する。
• 各ノードがn個の入力文字列における位置タプル(i₁, ..., iₙ)と状態に対応するトレリスに類似したデータ構造を維持し、半環演算を用いて経路重みを蓄積する。
• アクティブな状態と遷移を管理するための優先度キューを用い、各段階で各状態-位置組み合わせに対する最良パスのみを保持することで、重複計算を削減する。
• 交差自動機を事前に構築する必要がないため、n-WFSMに直接アルゴリズムを適用する。
• 優先度キューの操作による対数要因を考慮に入れ、フィボナッチヒープを用いて最適化することで、提示された時間計算量に到達する。

実験結果

リサーチクエスチョン

• RQ1 バイタビアルゴリズムは、単一の入力文字列ではなく、与えられたn個の入力文字列タプルを受理するn-WFSMにおける最良パスを効率的に見つけるように一般化可能か？
• RQ2 このような一般化されたアルゴリズムの時間計算量は、標準的な積集合と最短経路探索のアプローチと比べてどの程度か？
• RQ3 提案手法は実際の応用において、特にマルチテープ変換タスクにおいて、古典的手法を上回る性能を示すか？
• RQ4 アルゴリズムの性能は、入力テープ数および入力文字列長の増加に伴いどのようにスケーリングするか？

主な発見

• 提案された一般化バイタビアルゴリズムは、最悪計算量O(|s|ⁿ|E|log|s|ⁿ|Q|)を達成しており、標準的な積集合とダイクストラ法の組み合わせと比べて漸近的に優れている。
• 交差自動機の構築コストを回避し、nテープ構造を直接走査して最良パスを伝搬することで、時間的・空間的オーバーヘッドを削減する。
• 語群の対応付け（n=2）に関する実験的結果から、時間計算量がO(|s|²)にわずかに上回る傾向が確認され、理論的スケーリング行動が妥当であり、実用的効率性が裏付けられた。
• n入力テープ上の最適パスを特定することで、(n+m)テープ重み付き変換機における効率的な最良パス変換が可能になる。
• 優先度キュー管理にフィボナッチヒープを用いることで、対数時間オペレーションが保証され、最適な漸近的計算量に貢献する。
• 任意の合理的なn項関係をn-WFSMとして符号化できるため、自然言語処理、語彙素因分析、データベース的ストリング関係処理など、広範な分野に応用可能である。