[논문 리뷰] Computational Complexity of the Minimum State Probabilistic Finite State Learning Problem on Finite Data Sets.

Elisabeth Paulson, Christopher Griffin|arXiv (Cornell University)|2015. 01. 01.

Machine Learning and Algorithms참고 문헌 17인용 수 3

한 줄 요약

이 논문은 유한 데이터로부터 최소 상태 확률적 유한 상태 기계를 학습하는 것이 NP-난이도임을 증명하며, 모든 다항시간 알고리즘은 근사값이어야 한다고 규명한다. 이는 NP-난이도 감소를 바탕으로 한 증명 가능한 정확한 알고리즘을 제시하고, 그 실행 시간 행동을 경험적으로 평가한다.

ABSTRACT

In this paper, we study the problem of determining a minimum state probabilistic finite state machine capable of generating statistically identical symbol sequences to samples provided. This problem is qualitatively similar to the classical Hidden Markov Model problem and has been studied from a practical point of view in several works beginning with the work presented in: Shalizi, C.R., Shalizi, K.L., Crutchfield, J.P. (2002) [arXiv:cs/0210025]. In this paper, we show that the underlying problem is $\mathrm{NP}$-hard and thus all existing polynomial time algorithms must be approximations on finite data sets. Using our $\mathrm{NP}$-hardness proof, we show how to construct a provably correct algorithm for constructing a minimum state probabilistic finite state machine given data and empirically study its running time.

연구 동기 및 목표

• 유한 기호 시퀀스로부터 최소 상태 확률적 유한 상태 기계를 학습하는 데 필요한 계산 복잡도를 규명하는 것.
• 이 문제를 정확히 해결할 수 있는 다항시간 알고리즘이 유한 데이터셋에서 존재하는지 여부를 규명하는 것.
• NP-난이도 결과를 바탕으로 최소 상태 모델을 구성하는 증명 가능한 정확한 알고리즘을 개발하는 것.
• 제안된 정확한 알고리즘의 실행 시간 성능을 경험적으로 평가하는 것.

제안 방법

• 최소 상태 확률적 유한 상태 기계 학습 문제의 NP-난이도를 증명하기 위해 알려진 NP-난이도 문제로의 감소.
• 입력 데이터로부터 최소 상태 확률적 유한 상태 기계를 구성하는 완전하고 정확한 알고리즘 설계.
• NP-난이도 증명을 기반으로 정확하고 포괄적인 탐색 절차를 구성하는 데 활용.
• 실제 유한 데이터셋에서 알고리즘의 실행 시간을 경험적으로 평가하여 실용적 타당성을 분석하는 것.

실험 결과

연구 질문

• RQ1 유한 데이터셋으로부터 최소 상태 확률적 유한 상태 기계를 학습하는 문제는 다항시간 내에서 계산 가능할 수 있는가?
• RQ2 이 문제에 대한 기존의 다항시간 알고리즘들이 최적의 해를 보장할 수 있는가?
• RQ3 최소 상태 모델의 탐색 공간은 어떤 구조를 가지며, 이를 어떻게 정확하게 탐색할 수 있는가?
• RQ4 정확한 알고리즘의 실행 시간은 데이터셋 크기와 모델 복잡도에 따라 어떻게 변화하는가?

주요 결과

• 유한 데이터로부터 최소 상태 확률적 유한 상태 기계를 학습하는 문제는 NP-난이도임을 증명하였다.
• 따라서 이 문제의 정확한 해를 효율적으로 계산할 수 없기 때문에, 모든 다항시간 알고리즘은 근사값이어야 한다.
• NP-난이도 감소를 바탕으로 한 증명 가능한 정확한 알고리즘이 구성되어 출력 모델의 정확성을 보장한다.
• 경험적 결과는 정확한 알고리즘의 실행 시간이 데이터셋 크기와 모델 복잡도에 따라 급격히 증가함을 보여주며, 이는 이론적 난이도를 확인한다.