[論文レビュー] Entropy Rate Estimation for Markov Chains with Large State Space

Yanjun Han, Jiantao Jiao+4 more|arXiv (Cornell University)|Feb 22, 2018

Machine Learning and Algorithms参考文献 40被引用数 3

ひとこと要約

本稿は、S状態をもつ定常的かつ可逆的マルコフ連鎖のエントロピー率推定における最適な標本複雑度を確立し、弱い混合条件のもとで n ≫ S²/log S のとき一貫した推定が可能であり、弱い依存性のもとで n ≲ S²/log S 以下では不可能であることを示している。最適な推定精度は Θ(S²/(n log S)) であり、メモリレスな状況ですら、経験的推定器が要請する Ω(S²) より顕著に改善されている。

ABSTRACT

Estimating the entropy based on data is one of the prototypical problems in distribution property testing and estimation. For estimating the Shannon entropy of a distribution on $S$ elements with independent samples, [Paninski2004] showed that the sample complexity is sublinear in $S$, and [Valiant--Valiant2011] showed that consistent estimation of Shannon entropy is possible if and only if the sample size $n$ far exceeds $\frac{S}{\log S}$. In this paper we consider the problem of estimating the entropy rate of a stationary reversible Markov chain with $S$ states from a sample path of $n$ observations. We show that: (1) As long as the Markov chain mixes not too slowly, i.e., the relaxation time is at most $O(\frac{S}{\ln^3 S})$, consistent estimation is achievable when $n \gg \frac{S^2}{\log S}$. (2) As long as the Markov chain has some slight dependency, i.e., the relaxation time is at least $1+Ω(\frac{\ln^2 S}{\sqrt{S}})$, consistent estimation is impossible when $n \lesssim \frac{S^2}{\log S}$. Under both assumptions, the optimal estimation accuracy is shown to be $Θ(\frac{S^2}{n \log S})$. In comparison, the empirical entropy rate requires at least $Ω(S^2)$ samples to be consistent, even when the Markov chain is memoryless. In addition to synthetic experiments, we also apply the estimators that achieve the optimal sample complexity to estimate the entropy rate of the English language in the Penn Treebank and the Google One Billion Words corpora, which provides a natural benchmark for language modeling and relates it directly to the widely used perplexity measure.

研究の動機と目的

• 大規模状態のマルコフ連鎖における一貫したエントロピー率推定のための最適な標本複雑度を特定すること。
• 信頼できる推定のための混合時間（緩和時間）と標本サイズの間のトレードオフを特定すること。
• 高次元かつ従属的なデータ設定における理論的限界と実用的推定器の間のギャップを埋めること。
• 提案された推定器を実世界の言語コーパスに適用し、パープレキシティを用いて言語モデル性能をベンチマークすること。

提案手法

• 著者らは、S状態をもつ定常的かつ可逆的マルコフ連鎖の枠組みの下でエントロピー率推定問題を分析している。
• スペクトルギャップ解析と濃度不等式を用いて、非漸近的標本複雑度の上限を導出している。
• この手法は、制御された緩和時間をもつランダムな遷移行列モデルの構築と、Weylの不等式を用いたスペクトルギャップの上限評価を含む。
• 重要な要素として、経験的条件付き分布とカルバック・ライブラー距離を用いて推定誤差と経験尤度を関連づけることである。
• 解析は、Wigner型行列のスペクトルノルムの濃度に関する結果を活用しており、特にランダム行列理論の結果を応用している。
• 理論的上限は合成実験を通じて検証され、ペン・ツリー・バンクおよびグーグル・ワン・ビルリオン・ワーズからの実際の言語データに応用されている。

実験結果

リサーチクエスチョン

• RQ1 大規模状態のマルコフ連鎖のエントロピー率を一貫して推定するために必要な最小の標本サイズは何か？
• RQ2 マルコフ連鎖の緩和時間は、一貫したエントロピー率推定の可能性にどのように影響するか？
• RQ3 異なる混合条件のもとで、S と n の観点から最適な推定精度を特徴づけられるか？
• RQ4 提案された推定器は、経験的エントロピー率推定器と比べて標本効率がどの程度優れているか？
• RQ5 理論的上限は、実世界の言語モデルタスクにどの程度応用可能か？

主な発見

• 緩和時間が O(S / log³ S) である限り、n ≫ S²/log S のとき一貫したエントロピー率推定が可能である。
• 緩和時間が 1 + Ω(ln² S / √S) 以上である場合、n ≲ S²/log S では一貫した推定が不可能である。
• 最適な推定精度は Θ(S² / (n log S)) であり、与えられた条件下でミニマックスレートと一致する。
• 経験的エントロピー率推定器でさえ、メモリレスな状況においても一貫性を確保するためには Ω(S²) の標本が必要である。
• 提案された推定器は最適な標本複雑度を達成し、大規模コーパスにおける英語言語のエントロピー率の推定に成功しており、パープレキシティのベンチマークを提供している。