[논문 리뷰] Entropy Rate Estimation for Markov Chains with Large State Space

Yanjun Han, Jiantao Jiao외 4명|arXiv (Cornell University)|2018. 02. 22.

Machine Learning and Algorithms참고 문헌 40인용 수 3

한 줄 요약

이 논문은 S개 상태를 가진 정적 가역 마르코프 체인의 엔트로피율을 추정하는 데 있어 최적의 표본 복잡도를 확립한다. 약간의 혼합 조건 하에서 n ≫ S²/log S일 때 일관된 추정이 가능하고, 약한 종속성 하에서는 n ≲ S²/log S 이하일 경우 불가능하다. 최적의 추정 정확도는 Θ(S²/(n log S))이며, 메모리가 없는 경우조차도 경험적 추정기의 요구하는 Ω(S²)보다 크게 향상된다.

ABSTRACT

Estimating the entropy based on data is one of the prototypical problems in distribution property testing and estimation. For estimating the Shannon entropy of a distribution on $S$ elements with independent samples, [Paninski2004] showed that the sample complexity is sublinear in $S$, and [Valiant--Valiant2011] showed that consistent estimation of Shannon entropy is possible if and only if the sample size $n$ far exceeds $\frac{S}{\log S}$. In this paper we consider the problem of estimating the entropy rate of a stationary reversible Markov chain with $S$ states from a sample path of $n$ observations. We show that: (1) As long as the Markov chain mixes not too slowly, i.e., the relaxation time is at most $O(\frac{S}{\ln^3 S})$, consistent estimation is achievable when $n \gg \frac{S^2}{\log S}$. (2) As long as the Markov chain has some slight dependency, i.e., the relaxation time is at least $1+Ω(\frac{\ln^2 S}{\sqrt{S}})$, consistent estimation is impossible when $n \lesssim \frac{S^2}{\log S}$. Under both assumptions, the optimal estimation accuracy is shown to be $Θ(\frac{S^2}{n \log S})$. In comparison, the empirical entropy rate requires at least $Ω(S^2)$ samples to be consistent, even when the Markov chain is memoryless. In addition to synthetic experiments, we also apply the estimators that achieve the optimal sample complexity to estimate the entropy rate of the English language in the Penn Treebank and the Google One Billion Words corpora, which provides a natural benchmark for language modeling and relates it directly to the widely used perplexity measure.

연구 동기 및 목표

• 대규모 상태 마르코프 체인에서 일관된 엔트로피율 추정을 위한 최적의 표본 복잡도를 규명하는 것.
• 신뢰할 수 있는 추정을 위한 혼합 시간(이완 시간)과 표본 크기 사이의 상호 교환 관계를 규명하는 것.
• 고차원적이고 종속적인 데이터 환경에서 이론적 한계와 실용적 추정기 사이의 격차를 메우는 것.
• 제안된 추정기를 실제 언어 코퍼스에 적용하고 퍼플렉서티를 통해 언어 모델링 성능을 벤치마킹하는 것.

제안 방법

• 저자들은 S개 상태를 가진 정적 가역 마르코프 체인의 프레임워크 하에서 엔트로피율 추정 문제를 분석한다.
• 스펙트럼 갭 분석과 농도 부등식을 사용하여 표본 복잡도에 대한 비점근적 경계를 유도한다.
• 이 방법은 조절된 이완 시간을 가진 랜덤 전이 행렬 모델을 구축하고, Weyl의 부등식을 적용하여 스펙트럼 갭을 경계하는 것을 포함한다.
• 핵심 요소는 경험적 조건부 분포와 카우프만–라이블러 발산을 사용하여 추정 오차를 경험 가능도와 연결하는 것이다.
• 분석은 특히 Wigner 유형 행렬의 스펙트럼 노름 농도 결과를 활용한다.
• 이론적 경계는 시뮬레이션 실험을 통해 검증되었으며, 펜 트리뱅크와 구글 온 빌리언 워즈에서 확보한 실제 언어 데이터에 적용되었다.

실험 결과

연구 질문

• RQ1 대규모 상태 마르코프 체인의 엔트로피율을 일관되게 추정하기 위해 필요한 최소 표본 크기는 얼마인가?
• RQ2 마르코프 체인의 이완 시간이 일관된 엔트로피율 추정의 가능성에 어떤 영향을 미치는가?
• RQ3 다양한 혼합 조건 하에서 S와 n에 따라 최적의 추정 정확도를 특성화할 수 있는가?
• RQ4 제안된 추정기는 경험적 엔트로피율 추정기와 비교해 표본 효율성이 어떻게 향상되는가?
• RQ5 이론적 경계는 실제 언어 모델링 작업에 얼마나 널리 적용될 수 있는가?

주요 결과

• 이완 시간이 O(S / log³ S)일 경우, n ≫ S²/log S이면 일관된 엔트로피율 추정이 가능하다.
• 이완 시간이 1 + Ω(ln² S / √S) 이상이면, n ≲ S²/log S일 경우 일관된 추정은 불가능하다.
• 최적의 추정 정확도는 Θ(S² / (n log S))이며, 주어진 조건 하에서 최소 최대율과 일치한다.
• 경험적 엔트로피율 추정기는 메모리가 없는 경우조차도 일관성을 확보하기 위해 Ω(S²)의 표본이 필요하다.
• 제안된 추정기는 최적의 표본 복잡도를 달성했으며, 대규모 코퍼스에서 영어 언어의 엔트로피율을 성공적으로 추정하여 퍼플렉서티 기준 벤치마크를 제공했다.