[논문 리뷰] Minimal Markov Models

Jesus E. Garcia Veronica A. Gonzalez-Lopez|arXiv (Cornell University)|2010. 02. 03.

Algorithms and Data Compression참고 문헌 5인용 수 5

한 줄 요약

이 논문은 유한 순서 마르코프 체인의 새로운 클래스인 최소 마르코프 모델(Minimal Markov Models, MMMs)을 소개한다. 이 모델은 상태 공간 $A^M$의 분할을 통해 동일한 전이 분포를 가진 상태들을 동치 클래스로 묶음으로써 파rameter 수를 최소화한다. 모델은 베이지안 정보 기준(Bayesian Information Criterion, BIC)을 통해 일致적으로 선택되며, 이는 파rameter 추정과 모델 선택에서 渐近 최적성을 보장한다.

ABSTRACT

In this work we introduce a new and richer class of finite order Markov chain models and address the following model selection problem: find the Markov model with the minimal set of parameters (minimal Markov model) which is necessary to represent a source as a Markov chain of finite order. Let us call $M$ the order of the chain and $A$ the finite alphabet, to determine the minimal Markov model, we define an equivalence relation on the state space $A^{M}$, such that all the sequences of size $M$ with the same transition probabilities are put in the same category. In this way we have one set of $(|A|-1)$ transition probabilities for each category, obtaining a model with a minimal number of parameters. We show that the model can be selected consistently using the Bayesian information criterion.

연구 동기 및 목표

• 스토케스틱 소스를 유한 순서 마르코프 체인으로 표현하기 위해 필요한 최소 파라미터 집합을 선택하는 문제를 다룬다.
• 상태 공간 $A^M$의 분할을 통해 전체 마르코프 체인과 가변 길이 마르코프 체인(VLMCs)을 초월하는 더 풍부한 마르코프 모델 클래스를 정의한다.
• 베이지안 정보 기준(BIC)을 사용하여 일관된 모델 선택을 보장함으로써 진정한 기저 모델 구조를 渐近적으로 최적화하여 식별할 수 있도록 한다.
• 제안된 모델 클래스가 전체 마르코프 체인과 VLMCs를 특수한 경우로 포함함으로써 기존 프레임워크를 일반화함을 보여준다.
• 이 새로운 모델 클래스에서 BIC 기반 선택에 대한 이론적 일관성 보장을 제공하며, VLMCs에 대한 이전 결과를 확장한다.

제안 방법

• 상태 공간 $A^M$의 분할 $\mathcal{L} = \{L_1, \dots, L_K\}$을 정의하며, 동일한 분할 클래스 $L$에 속한 상태들은 $A$의 모든 기호로 동일한 전이 확률을 가진다.
• 각 분할 클래스 $L$에 대해 전이 확률 $P(a|L) = \text{Prob}(X_t = a \mid X_{t-M}^{t-1} \in L)$을 추정함으로써 총 파라미터 수를 $K(|A|-1)$로 감소시킨다.
• 실험 빈도 $r_n(L,a) = N_n^\mathcal{L}(L,a)/n$ 및 $r_n(L) = N_n^\mathcal{L}(L)/n$를 기반으로 수정된 최대우도 추정기(most likely estimator)를 사용한다.
• 모델 비교를 위해 베이지안 정보 기준(BIC)을 적용한다: $\text{BIC}(\mathcal{L}, x_1^n) = \log \text{ML}(\mathcal{L}, x_1^n) - \frac{(|A|-1)}{2} \ln n$, 여기서 $\text{ML}$은 분할된 모델의 우도이다.
• 모델 $\mathcal{L}$과 그 융합된 버전 $\mathcal{L}^{ij}$(여기서 클래스 $L_i$와 $L_j$가 통합됨) 간의 BIC 차이를 사용하여 융합이 적합도와 복잡도의 균형을 향상시키는지 테스트한다.
• 정규성 조건 하에, 전이 분포가 동일할 경우($P(a|L_i) = P(a|L_j)$) BIC 차이 $\text{BIC}(\mathcal{L}, x_1^n) - \text{BIC}(\mathcal{L}^{ij}, x_1^n)$가 거의 확실히 음수가 되고, 이외의 경우 양수가 되므로 BIC가 진정한 최소 모델을 일관되게 선택함을 증명한다.

실험 결과

연구 질문

• RQ1 공유된 전이 분포를 기반으로 상태 공간 $A^M$을 분할함으로써 더 유연하고 파라미터 효율적인 유한 순서 마르코프 모델 클래스를 정의할 수 있는가?
• RQ2 이 새로운 모델 클래스에 대해 베이지안 정보 기준(BIC)은 일관된 모델 선택 기준인가?
• RQ3 언제 두 분할 클래스 $L_i$와 $L_j$를 융합할 경우 BIC 점수가 향상되며, 이는 전이 확률 $P(a|L_i) = P(a|L_j)$의 등가성과 어떻게 관련되는가?
• RQ4 제안된 모델 클래스는 전체 마르코프 체인과 가변 길이 마르코프 체인(VLMCs)과 같은 기존 모델과 어떻게 관련되는가?
• RQ5 BIC 기반 선택 절차는 진정한 최소 분할 구조를 渐近적으로 회복할 수 있는가?

주요 결과

• 제안된 최소 마르코프 모델 클래스는 상태 공간 $A^M$의 분할을 통해 정의되며, 동일한 전이 분포를 가진 상태들을 묶음으로써 전체 마르코프 체인과 VLMCs를 일반화한다.
• 모델은 각 분할 클래스당 $|A|-1$개의 전이 확률을 할당함으로써 파라미터를 최소화하며, 총 파라미터 수를 $|A|^M(|A|-1)$에서 $K(|A|-1)$로 감소시킨다. 여기서 $K$는 클래스의 수이다.
• BIC 기준이 모델 선택에 대해 일관됨을 입증하였다: 표본 크기 $n \to \infty$가 될수록 BIC는 거의 확실히 기저 데이터 생성 과정과 일치하는 진정한 최소 분할을 선택한다.
• 일관성 증명은 융합된 클래스의 전이 분포가 동일할 경우에만 모델과 그 융합된 버전 간의 BIC 차이가 거의 확실히 음수가 되며, 이는 $P(a|L_i) = P(a|L_j)$ for all $a \in A$일 때에만 성립함을 보여준다.
• 이론적 분석은 BIC 페널티 항 $\frac{(|A|-1)}{2} \ln n$이 과적합을 방지하는 데 충분하며, 경험적 분포와 진짜 분포 간의 상대 엔트로피(Kullback-Leibler 발산)가 $\ln n / n$에 의해 제어되는 비율로 감소함을 밝혔다.
• 3절의 시뮬레이션은 BIC 기반 선택 알고리즘의 일관성을 확인하며, $n$이 증가함에 따라 진정한 최소 모델이 높은 확률로 회복됨을 보여준다.