[論文レビュー] On Computing the Total Variation Distance of Hidden Markov Models

Stefan Kiefer|arXiv (Cornell University)|Jan 1, 2018

DNA and Biological Computing参考文献 7被引用数 10

ひとこと要約

この論文は、2つの隠れマルコフモデル（HMM）の単語分布間の全変動距離を計算するための基本的な複雑性境界を確立する。距離が与えられたしきい値を超えるかどうかを判定することは決定不能であり、距離の近似は#P困難かつPSPACEに属することを示し、浮動小数点丸め誤差解析とLadnerの多項式空間内での数え上げに関する結果を組み合わせた新規な技術を用いる。

ABSTRACT

We prove results on the decidability and complexity of computing the total variation distance (equivalently, the $L_1$-distance) of hidden Markov models (equivalently, labelled Markov chains). This distance measures the difference between the distributions on words that two hidden Markov models induce. The main results are: (1) it is undecidable whether the distance is greater than a given threshold; (2) approximation is #P-hard and in PSPACE.

研究の動機と目的

• 2つの隠れマルコフモデル（HMM）間の全変動距離を計算する決定可能性と計算複雑性を特定すること。
• 2つのHMM間の距離が与えられたしきい値を超えるかどうかを分析し、この問題の決定可能性を検討すること。
• HMM間の全変動距離の近似に関する計算の困難さと上界を確立すること。
• 浮動小数点演算と後向き誤差解析を用いて、距離を近似するPSPACEアルゴリズムを開発すること。
• 有限語と無限語HMMの両方への結果の拡張を行い、分野における未解決問題を特定すること。

提案手法

• 確率的システムにおける決定不能な問題への還元を用いて、しきい値問題の決定不能性を証明する。
• #P完全な数え上げ問題への還元を構築することで、近似の#P困難性を確立する。
• kビットの浮動小数点演算を用い、丸め誤差を制御することで、与えられた誤差ε内に距離を近似するPSPACEアルゴリズムを開発する。
• 浮動小数点計算による語の確率の相対誤差を抑え込むために、後向き誤差解析を適用する。
• 多項式空間内での数え上げに関するLadnerの結果を用いて、語をサンプリングし、近似確率を比較する確率的PSPACEチューリングマシンの受容確率を計算する。
• 各浮動小数点演算が相対誤差を2−k以下に制限する丸め方式を採用し、近似値が真の値の乗法的要因(1±θ)の範囲内に保たれることを保証する。

実験結果

リサーチクエスチョン

• RQ1 2つのHMM間の全変動距離が与えられたしきい値を超えるかどうかは決定可能か？
• RQ2 2つのHMM間の全変動距離を近似する計算複雑性は何か？
• RQ3 多項式空間を用いて、与えられた誤差境界内に2つのHMM間の距離を近似できるか？
• RQ4 終端語確率がゼロである無限語HMMにおいて、決定不能性の結果は拡張可能か？
• RQ5 有限語または無限語HMMにおいて、非厳密なしきい値距離問題は決定可能か？

主な発見

• 2つのHMM間の全変動距離が与えられたしきい値を超えるかどうかを判定する問題は決定不能である。
• 任意の加法的誤差ε > 0の範囲で全変動距離を近似することは#P困難である。
• 任意の所望の加法的誤差εに対して、多項式空間内で距離を近似可能であり、問題はPSPACEに属する。
• kビット精度の浮動小数点演算を用いたPSPACEアルゴリズムが構築され、kは入力サイズおよび1/εに関して多項式的である。
• 近似誤差は乗法的要因(1±θ)で抑えられ、θは4θ = ε/2を満たすように選ばれ、全体の誤差がε/2以下になるように保証される。
• PSPACEアルゴリズムは、1つのHMMに従って語をサンプリングし、後向き誤差解析を用いて近似確率を比較する確率的チューリングマシンをシミュレートすることに依存する。