[论文解读] Computational Complexity of the Minimum State Probabilistic Finite State Learning Problem on Finite Data Sets.

Elisabeth Paulson, Christopher Griffin|arXiv (Cornell University)|Jan 1, 2015

Machine Learning and Algorithms参考文献 17被引用 3

一句话总结

本文证明了从有限数据中学习最小状态概率有限状态机是NP难的，确立了所有多项式时间算法都必须是近似算法。本文基于NP难性归约提出了一种可证明正确的精确算法，并对其运行时间行为进行了经验评估。

ABSTRACT

In this paper, we study the problem of determining a minimum state probabilistic finite state machine capable of generating statistically identical symbol sequences to samples provided. This problem is qualitatively similar to the classical Hidden Markov Model problem and has been studied from a practical point of view in several works beginning with the work presented in: Shalizi, C.R., Shalizi, K.L., Crutchfield, J.P. (2002) [arXiv:cs/0210025]. In this paper, we show that the underlying problem is $\mathrm{NP}$-hard and thus all existing polynomial time algorithms must be approximations on finite data sets. Using our $\mathrm{NP}$-hardness proof, we show how to construct a provably correct algorithm for constructing a minimum state probabilistic finite state machine given data and empirically study its running time.

研究动机与目标

• 确定从有限符号序列中学习最小状态概率有限状态机的计算复杂度。
• 确定多项式时间算法是否能在此类有限数据集上精确求解该问题。
• 基于NP难性结果，开发一种可证明正确的算法，用于构建最小状态模型。
• 对所提出的精确算法的运行时间性能进行经验评估。

提出的方法

• 通过已知NP难问题的归约，证明最小状态概率有限状态机学习问题的NP难性。
• 设计一种完整且精确的算法，用于从输入数据构建最小状态概率有限状态机。
• 利用NP难性证明作为基础，构建正确且全面的搜索过程。
• 在各种有限数据集上对算法的运行时间进行经验评估，以评估其实际可行性。

实验结果

研究问题

• RQ1 从有限数据集中学习最小状态概率有限状态机的问题是否在多项式时间内计算上是可行的？
• RQ2 针对此问题的现有多项式时间算法是否能保证找到最优解？
• RQ3 最小状态模型的搜索空间结构如何？如何才能正确遍历该空间？
• RQ4 精确算法的运行时间如何随数据集大小和模型复杂度而变化？

主要发现

• 从有限数据中学习最小状态概率有限状态机的问题被证明是NP难的。
• 因此，所有针对此问题的多项式时间算法都必须是近似算法，因为无法高效计算精确解。
• 基于NP难性归约构建了一种可证明正确的算法，确保输出模型的正确性。
• 经验结果表明，精确算法的运行时间随数据集大小和模型复杂度迅速增长，证实了理论上的困难性。