[논문 리뷰] On Computing the Total Variation Distance of Hidden Markov Models

Stefan Kiefer|arXiv (Cornell University)|2018. 01. 01.

DNA and Biological Computing참고 문헌 7인용 수 10

한 줄 요약

이 논문은 두 은닉 마르코프 모델(HMM)의 단어 분포 간의 총 변동 거리(total variation distance)를 계산하는 데 있어 기본적인 복잡도 한계를 설정한다. 거리가 주어진 임계값을 초과하는지 여부를 판단하는 문제가 결정불가능하다는 것을 증명하며, 거리를 근사하는 것은 #P-난이도이며, 다항시간 공간(PSPACE) 내에 속함을 보이며, 부동소수점 반올림 분석과 라드너(Ladner)의 다항시간 공간 내에서 수를 세는 결과를 결합한 새로운 기법을 사용한다.

ABSTRACT

We prove results on the decidability and complexity of computing the total variation distance (equivalently, the $L_1$-distance) of hidden Markov models (equivalently, labelled Markov chains). This distance measures the difference between the distributions on words that two hidden Markov models induce. The main results are: (1) it is undecidable whether the distance is greater than a given threshold; (2) approximation is #P-hard and in PSPACE.

연구 동기 및 목표

• 두 은닉 마르코프 모델(HMM) 간의 총 변동 거리 계산의 결정가능성과 계산 복잡도를 규명하는 것.
• 두 HMM 간의 거리가 주어진 임계값을 초과하는지 여부를 분석하여, 이 문제의 결정가능성을 다루는 것.
• HMM 간의 총 변동 거리 근사화에 대한 계산 난이도와 상한을 설정하는 것.
• 부동소수점 산술과 역오차 분석을 사용하여 거리를 다항시간 공간(PSPACE) 알고리즘으로 근사화하는 방법을 개발하는 것.
• 유한어 및 무한어 HMM에 모두 결과를 확장하고, 분야 내 열린 문제를 규명하는 것.

제안 방법

• 확률적 시스템에서 결정불가능한 문제들로의 축소를 통해 임계값 문제의 결정불가능성을 증명한다.
• 수를 세는 #P-완전 문제로의 축소를 구성하여 근사화의 #P-난이도를 확립한다.
• 제어된 반올림 오차를 갖는 k비트 부동소수점 산술을 사용하여 주어진 오차 ε 이내로 거리를 근사화하는 PSPACE 알고리즘을 개발한다.
• 단어 확률의 부동소수점 계산에서 상대 오차를 제한하기 위해 역오차 분석을 적용한다.
• 다항시간 공간 내에서 수를 세는 데 관한 라드너의 결과를 활용하여, 단어를 샘플링하고 근사 확률을 비교하는 확률적 PSPACE 튜링 기계의 수용 확률을 계산한다.
• 각 부동소수점 연산이 상대 오차를 2−k 이내로 제한하는 반올림 체계를 도입하여, 근사값이 진짜 값의 곱셈 인자 (1±θ) 범위 내에 유지되도록 보장한다.

실험 결과

연구 질문

• RQ1 두 HMM 간의 총 변동 거리가 주어진 임계값을 초과하는지 여부는 결정가능한가?
• RQ2 두 HMM 간의 총 변동 거리 근사화의 계산 복잡도는 무엇인가?
• RQ3 다항시간 공간을 사용하여 주어진 오차 범위 내에서 두 HMM 간의 거리를 근사화할 수 있는가?
• RQ4 끝부분 확률이 0인 무한어 HMM에 대해서도 결정불가능성 결과가 확장되는가?
• RQ5 유한어 또는 무한어 HMM에 대해 비엄격한 임계값-거리 문제는 결정가능한가?

주요 결과

• 두 HMM 간의 총 변동 거리가 주어진 임계값을 초과하는지 여부를 판단하는 문제는 결정불가능하다.
• 임의의 덧셈 오차 ε > 0 이내로 총 변동 거리를 근사화하는 것은 #P-난이도이다.
• 주어진 오차 ε 이내로 거리를 다항시간 공간(PSPACE) 내에서 근사화할 수 있으며, 이는 문제의 복잡도가 PSPACE에 속함을 의미한다.
• 입력 크기와 1/ε에 대해 다항적인 k비트 정밀도를 갖는 부동소수점 산술을 사용하여 PSPACE 알고리즘을 구성하였다.
• 근사 오차는 곱셈 인자 (1±θ) 범위로 제한되며, θ는 4θ = ε/2를 만족하도록 선택되어 총 오차 ≤ ε/2를 보장한다.
• PSPACE 알고리즘은 한 HMM에 따라 단어를 샘플링하고 근사 확률을 역오차 분석을 통해 비교하는 확률적 튜링 기계를 시뮬레이션하는 데 의존한다.