[논문 리뷰] Hidden Markov Process: A New Representation, Entropy Rate and Estimation Entropy

M. Rezaeian|ArXiv.org|2006. 06. 27.

Control Systems and Identification참고 문헌 6인용 수 11

한 줄 요약

이 논문은 은닉 마르코프 과정(HMP)에 대한 새로운 반복 함수 체계(IFS) 표현을 제안하며, 엔트로피율과 추정 엔트로피라는 두 가지 역동적 엔트로피에 대한 엄밀한 분석을 가능하게 한다. 상태 전이를 IFS를 통해 결정적으로 모델링함으로써, 저자들은 두 엔트로피에 대한 적분 표현을 유도하고, 수렴 보장이 되는 수치적 알고리즘을 제안한다. 이 알고리즘은 온건한 조건 하에서 수렴하며, 정적 분포에서 초기화될 경우 더 빠르게 수렴한다.

ABSTRACT

We consider a pair of correlated processes {Z_n} and {S_n} (two sided), where the former is observable and the later is hidden. The uncertainty in the estimation of Z_n upon its finite past history is H(Z_n|Z_0^{n-1}), and for estimation of S_n upon this observation is H(S_n|Z_0^{n-1}), which are both sequences of n. The limits of these sequences (and their existence) are of practical and theoretical interest. The first limit, if exists, is the entropy rate. We call the second limit the estimation entropy. An example of a process jointly correlated to another one is the hidden Markov process. It is the memoryless observation of the Markov state process where state transitions are independent of past observations. We consider a new representation of hidden Markov process using iterated function system. In this representation the state transitions are deterministically related to the process. This representation provides a unified framework for the analysis of the two limiting entropies for this process, resulting in integral expressions for the limits. This analysis shows that under mild conditions the limits exist and provides a simple method for calculating the elements of the corresponding sequences.

연구 동기 및 목표

• 은닉 마르코프 과정의 새로운 수학적 표현을 반복 함수 체계(IFS)를 이용해 개발하여 분석의 용이성을 향상시키기.
• 은닉 상태를 과거 관측치로부터 추정할 때의 장기적 불확실성으로서 추정 엔트로피의 개념을 정의하고 체계화하기.
• IFS에 의해 유도된 마르코프 연산자의 불변 측도를 사용하여 엔트로피율과 추정 엔트로피에 대한 적분 표현을 도출하기.
• 수렴 보장을 갖춘 수치적 안정성 있는 반복 알고리즘을 설계하여 이러한 엔트로피를 계산하기.
• 기초 마르코프 체인의 정적 분포에서 초기화할 경우 수렴 속도가 더 빠르다는 것을 보여주기.

제안 방법

• 전이 행렬과 관측 행렬에서 유도된 위치에 따라 달라지는 확률을 갖는 결정론적 상태 전이 함수로 정의된 IFS를 사용하여 HMP를 표현하기.
• IFS에 의해 유도된 마르코프 연산자를 통해 상태 공간 위의 확률 분포의 진화를 모델링하고, 분포를 반복적으로 갱신하기.
• 엔트로피율과 추정 엔트로피를 조건부 엔트로피를 포함하는 수열의 극한으로 정의하며, IFS에 의해 생성된 이산 지지점 위에서의 합으로 표현하기.
• IFS의 불변 측도를 사용하여 엔트로피율을 적분으로 표현하고, 지지점 집합과 확률 질량을 반복적으로 정밀화하여 수치적으로 근사하기.
• 각 단계에서 집합 $ U_n $을 생성하고 확률 분포 $ \dot{\mu}_n $을 갱신하는 수치 알고리즘을 구현하여 진짜 엔트로피 값으로 수렴시키기.
• 임의의 초기 분포 $ \nu $에 대해 알고리즘의 수렴성을 증명하며, $ \nu = x^* $인 경우, 즉 기초 마르코프 체인의 정적 분포일 경우 수렴 속도가 더 빠르다는 것을 보여주기.

실험 결과

연구 질문

• RQ1 은닉 마르코프 과정이 반복 함수 체계(IFS)로 등가적으로 표현될 수 있으며, 이로 인해 그 역동적 엔트로피에 대한 더 엄밀한 분석이 가능할 수 있는가?
• RQ2 과거 관측치로부터 은닉 상태를 추정할 때의 장기적 단위 기호 불확실성으로서 정의된 추정 엔트로피는 존재하는가, 그리고 닫힌 형태로 계산될 수 있는가?
• RQ3 IFS에 의해 유도된 마르코프 연산자의 불변 측도를 사용하여 엔트로피율과 추정 엔트로피에 대한 적분 표현을 도출할 수 있는가?
• RQ4 일반적인 HMP에 대해 수렴 보장이 되고 수치적으로 안정적인 알고리즘이 존재하는가?
• RQ5 초기 분포의 선택이 엔트로피 추정 알고리즘의 수렴 속도에 어떤 영향을 미치는가?

주요 결과

• 은닉 마르코프 과정의 엔트로피율과 추정 엔트로피는 과정의 IFS 표현에 의해 유도된 불변 측도 위에서 적분으로 표현될 수 있다.
• 제안된 반복 알고리즘은 임의의 초기 분포 $ \nu $에 대해 진짜 엔트로피 값으로 수렴하며, $ \nu $가 기초 마르코프 체인의 정적 분포 $ x^* $일 경우 더 빠르게 수렴한다.
• $ x^* $에서 초기화할 경우, 조건부 엔트로피 $ H(Z_n|Z_0^{n-1}) $와 $ H(S_n|Z_0^{n-1}) $를 나타내는 수열 $ H_Z^n $과 $ H_{S/Z}^n $은 단조 감소함을 확인하여 위에서 수렴하는 것을 확인한다.
• 수치 예제에서는 기초 마르코프 과정의 엔트로피율이 $ \log_2|\mathcal{S}| $에 비해 낮을 경우, 또는 관측 행렬 $ T $의 행들이 높은 엔트로피를 가질 경우 수렴 속도가 느리다는 것을 보여준다.
• 몬테카를로나 리아푸노프 기반 접근법과는 달리, 이 방법은 결정론적이며 계산 가능한 대안을 제공하며, 이는 결정적이지 않거나 평가하기 어려운 표현을 유도한다.
• 이 틀은 엔트로피에 대한 명시적 적분 표현을 도출할 수 있게 하여, 정보이론 및 신호 처리 분야에서 HMP에 대한 새로운 분석 도구를 제공한다.