[논문 리뷰] Variable length Markov chains and dynamical sources

Peggy Cénac, Brigitte Chauvin외 2명|arXiv (Cornell University)|2010. 07. 18.

Algorithms and Data Compression참고 문헌 26인용 수 13

한 줄 요약

이 논문은 유닛 구간에서 기호 수열로의 가측 사상 구축을 통해 변수 길이 마르코프 체인(VLMC)과 확률적 동역학적 소스 간의 엄밀한 확률적 프레임워크를 수립한다. 이를 통해 모든 VLMC가 동역학적 소스로 나타남을 증명한다. 무한 복합체와 대나무 꽃 모양 모델이라는 두 가지 표준 VLMC 예제에 대해 정(stationary) 조건의 존재 및 유일성을 보장하는 필요 및 충분 조건을 제시하며, 단어 발생의 디리클레 급수와 생성 함수를 사용한다.

ABSTRACT

Infinite random sequences of letters can be viewed as stochastic chains or as strings produced by a source, in the sense of information theory. The relationship between Variable Length Markov Chains (VLMC) and probabilistic dynamical sources is studied. We establish a probabilistic frame for context trees and VLMC and we prove that any VLMC is a dynamical source for which we explicitly build the mapping. On two examples, the ``comb'' and the ``bamboo blossom'', we find a necessary and sufficient condition for the existence and the unicity of a stationary probability measure for the VLMC. These two examples are detailed in order to provide the associated Dirichlet series as well as the generating functions of word occurrences.

연구 동기 및 목표

• 유닛 구간에서 기호 수열로의 가측 변환을 정의하여 VLMC와 확률적 동역학적 소스 간의 관계를 수학적으로 정형화한다.
• 특히 무한 기억을 가진 비-마르코프 모델에 대해 VLMC에서 정 확률 측도의 존재 및 유일성을 보장하는 필요 및 충분 조건을 수립한다.
• 생성 함수와 디리클레 급수를 사용하여 VLMC에 의해 생성된 수열에서의 단어 발생 통계를 분석한다.
• 트라이와 같은 데이터 구조에서의 혼합성 및 확률 과정 결과를 VLMC 기반 소스로 확장하며, 특히 스펙트럼 갭이 없는 경우에 초점을 맞춘다.

제안 방법

• 문맥 트리에서 유도된 순서 정렬 분할을 사용하여 단위 구간 위에 가측 사상 $ T $ 를 정의함으로써 확률적 동역학적 소스를 구성한다.
• 문맥 트리의 잎은 기억 맥락을 나타내며, 각 맥락 $ c $ 에 대해 전이 확률 $ q_c(\alpha) $ 를 할당한다.
• 분할 원리(식 3)와 서로소 합분해를 적용하여 정 상태 측도에 대한 선형 시스템을 유도한다.
• 디리클레 급수와 생성 함수를 활용하여 VLMC에 의해 생성된 수열에서의 단어 발생 정확 분포를 계산한다.
• 최소 맥락의 확률을 포함하는 선형 방정식계를 통해 정 상태 측도를 분석하며, 기약성 조건이 유일성을 보장한다.
• 스펙트럼 및 혼합성 가정을 적용하여 트라이 매개변수에 대한 결과를 VLMC 소스로 확장하며, 특히 혼합성 없거나 스펙트럼 갭이 없는 경우에 초점을 맞춘다.

실험 결과

연구 질문

• RQ1 VLMC가 유일한 정 확률 측도를 갖는 조건은 무엇인가?
• RQ2 어떻게 유닛 구간 위의 가측 변환을 통해 VLMC를 확률적 동역학적 소스로 표현할 수 있는가?
• RQ3 VLMC에 의해 생성된 수열에서의 단어 발생 정확 분포는 무엇이며, 생성 함수를 통해 어떻게 계산할 수 있는가?
• RQ4 디리클레 급수는 무한 복합체 및 대나무 꽃 모양 모델에서 VLMC의 정 상태 측도와 어떻게 관련되는가?
• RQ5 동역학적 소스에 대한 트라이 매개변수 결과는 스펙트럼 갭이 없는 경우에도 VLMC 기반 수열로 확장 가능한가?

주요 결과

• 모든 VLMC는 기술된 맥락 트리와 전이 확률로부터 명시적으로 구성된 가측 사상 $ T $ 를 통해 확률적 동역학적 소스와 동치이다.
• 무한 복합체 모델의 경우, 정 상태 측도가 존재하고 유일한 조건은 $ q_{0^{n+1}}(1)S_n + q_{0^n1}(0)c_n \neq 0 $ 이며, 여기서 $ S_n $ 과 $ c_n $ 은 곱과 합 공식으로 정의된다.
• 대나무 꽃 모양 모델의 경우, 정 상태 측도가 존재하고 유일한 조건은 $ q_{00}(1)[1 + q_1(0)] + q_1(0)^2 q_{010}(0) + q_1(0)q_1(1)q_{011}(0) \neq 0 $ 이며, 이는 전이 확률이 모두 비자명할 경우 항상 성립한다.
• 복합체 모델에서의 단어 발생 정확 분포를 위한 생성 함수는 맥락 트리의 재귀적 구조와 선형 시스템을 활용하여 유도된다.
• 복합체 및 대나무 꽃 모양 모델에 관련된 디리클레 급수는 명시적으로 계산되며, 정 상태 측도와 단어 발생 통계와 연결된다.
• 논문은 최소 맥락 기반의 기약성 조건이 모든 VLMC에 일반화될 수 있으며, 정 상태 측도 존재에 대한 보편 기준을 제안한다.