[論文レビュー] Computational Complexity of the Minimum State Probabilistic Finite State Learning Problem on Finite Data Sets.

Elisabeth Paulson, Christopher Griffin|arXiv (Cornell University)|Jan 1, 2015

Machine Learning and Algorithms参考文献 17被引用数 3

ひとこと要約

この論文は、有限のデータから最小状態数の確率的有限状態機械を学習することはNP困難であることを証明し、すべての多項式時間アルゴリズムが近似解に限られることを確立している。NP困難性の還元に基づいて、正しい正確なアルゴリズムを提示し、その実行時間の挙動を実験的に評価している。

ABSTRACT

In this paper, we study the problem of determining a minimum state probabilistic finite state machine capable of generating statistically identical symbol sequences to samples provided. This problem is qualitatively similar to the classical Hidden Markov Model problem and has been studied from a practical point of view in several works beginning with the work presented in: Shalizi, C.R., Shalizi, K.L., Crutchfield, J.P. (2002) [arXiv:cs/0210025]. In this paper, we show that the underlying problem is $\mathrm{NP}$-hard and thus all existing polynomial time algorithms must be approximations on finite data sets. Using our $\mathrm{NP}$-hardness proof, we show how to construct a provably correct algorithm for constructing a minimum state probabilistic finite state machine given data and empirically study its running time.

研究の動機と目的

• 有限の記号列から最小状態数の確率的有限状態機械を学習する問題の計算複雑性を特定すること。
• この問題を有限のデータセット上で正確に解く多項式時間アルゴリズムが存在するかどうかを確立すること。
• NP困難性の結果に基づいて、最小状態数のモデルを構築する理論的に正しいアルゴリズムを開発すること。
• 提案された正確なアルゴリズムの実行時間性能を実験的に評価すること。

提案手法

• 既知のNP困難問題への還元を用いて、最小状態数の確率的有限状態機械学習問題のNP困難性を証明する。
• 入力データから最小状態数の確率的有限状態機械を構築する完全で正確なアルゴリズムの設計。
• NP困難性の証明を基盤として、正しいかつ包括的な探索手順を構築する。
• さまざまな有限データセットにおけるアルゴリズムの実行時間の実験的評価を通じて、実用的妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 有限データセットからの最小状態数の確率的有限状態機械学習問題は、多項式時間で計算的に実行可能であるか？
• RQ2 この問題に対する既存の多項式時間アルゴリズムは、最適解を保証して得られるか？
• RQ3 最小状態数のモデルの探索空間の構造は何か、そしてどのように正しく走査できるか？
• RQ4 正確なアルゴリズムの実行時間は、データセットのサイズとモデルの複雑さにどのように依存するか？

主な発見

• 有限データからの最小状態数の確率的有限状態機械学習問題は、NP困難であることが証明された。
• したがって、この問題のすべての多項式時間アルゴリズムは、正確な解が効率的に計算できないため、近似解に限られる。
• NP困難性の還元に基づいて、出力モデルの正しさが保証された理論的に正しいアルゴリズムが構築された。
• 実験的結果から、正確なアルゴリズムの実行時間がデータセットのサイズとモデルの複雑さに伴い急激に増加することが確認され、理論的困難性が裏付けられた。