[论文解读] Entropy Rate Estimation for Markov Chains with Large State Space

Yanjun Han, Jiantao Jiao+4 more|arXiv (Cornell University)|Feb 22, 2018

Machine Learning and Algorithms参考文献 40被引用 3

一句话总结

本文確立了對具有 S 個狀態的靜態可逆馬可夫鏈的熵率估計之最佳樣本複雜度，顯示在輕微混合條件下，當 n ≫ S²/log S 時可實現一致估計，而在弱依賴條件下，當 n ≲ S²/log S 時則不可能。最佳估計精確度為 Θ(S²/(n log S))，顯著優於即使在無記憶情況下 empirical 評估器所需的 Ω(S²) 複雜度要求。

ABSTRACT

Estimating the entropy based on data is one of the prototypical problems in distribution property testing and estimation. For estimating the Shannon entropy of a distribution on $S$ elements with independent samples, [Paninski2004] showed that the sample complexity is sublinear in $S$, and [Valiant--Valiant2011] showed that consistent estimation of Shannon entropy is possible if and only if the sample size $n$ far exceeds $\frac{S}{\log S}$. In this paper we consider the problem of estimating the entropy rate of a stationary reversible Markov chain with $S$ states from a sample path of $n$ observations. We show that: (1) As long as the Markov chain mixes not too slowly, i.e., the relaxation time is at most $O(\frac{S}{\ln^3 S})$, consistent estimation is achievable when $n \gg \frac{S^2}{\log S}$. (2) As long as the Markov chain has some slight dependency, i.e., the relaxation time is at least $1+Ω(\frac{\ln^2 S}{\sqrt{S}})$, consistent estimation is impossible when $n \lesssim \frac{S^2}{\log S}$. Under both assumptions, the optimal estimation accuracy is shown to be $Θ(\frac{S^2}{n \log S})$. In comparison, the empirical entropy rate requires at least $Ω(S^2)$ samples to be consistent, even when the Markov chain is memoryless. In addition to synthetic experiments, we also apply the estimators that achieve the optimal sample complexity to estimate the entropy rate of the English language in the Penn Treebank and the Google One Billion Words corpora, which provides a natural benchmark for language modeling and relates it directly to the widely used perplexity measure.

研究动机与目标

• 確定在大狀態馬可夫鏈中一致估計熵率之最佳樣本複雜度。
• 描述混合時間（放鬆時間）與樣本大小之間在可靠估計下的權衡關係。
• 彙整理論極限與高維度、依賴性資料情境下實際估計器之間的差距。
• 將所提出的估計器應用於真實語言語料，並透過困惑度來基準語言建模性能。

提出的方法

• 作者在具有 S 個狀態的靜態可逆馬可夫鏈框架下分析熵率估計問題。
• 利用譜間隔分析與集中不等式，推導樣本複雜度的非漸近邊界。
• 該方法涉及構建具有受控放鬆時間的隨機轉移矩陣模型，並應用 Weyl 不等式來限制譜間隔。
• 一個關鍵組成部分是使用經驗條件分佈與 Kullback–Leibler 散度，將估計誤差與經驗似然性關聯起來。
• 分析利用了隨機矩陣理論的結果，特別是 Wigner 類型矩陣的譜範數集中性。
• 理論邊界透過合成實驗驗證，並應用於來自 Penn Treebank 和 Google One Billion Words 的真實語言資料。

实验结果

研究问题

• RQ1 一致估計大狀態馬可夫鏈熵率所需的最小樣本量是多少？
• RQ2 馬可夫鏈的放鬆時間如何影響一致熵率估計的可行性？
• RQ3 在不同混合條件下，能否以 S 和 n 表示最佳估計精確度？
• RQ4 所提出的估計器與經驗熵率估計器相比，在樣本效率方面表現如何？
• RQ5 理論邊界在多大程度上可應用於真實世界語言建模任務？

主要发现

• 當 n ≫ S²/log S 時，只要放鬆時間為 O(S / log³ S)，即可實現一致熵率估計。
• 若放鬆時間至少為 1 + Ω(ln² S / √S)，則當 n ≲ S²/log S 時，一致估計不可能實現。
• 最佳估計精確度為 Θ(S² / (n log S))，與給定條件下的 minimax 速率一致。
• 即使在無記憶情況下，經驗熵率估計器仍需 Ω(S²) 個樣本才能實現一致性。
• 所提出的估計器達到了最佳樣本複雜度，並成功應用於大規模語料中英語語言的熵率估計，為困惑度提供了一個基準。