[論文レビュー] Discrete MDL Predicts in Total Variation

Marcus Hütter|arXiv (Cornell University)|Sep 25, 2009

Machine Learning and Algorithms参考文献 20被引用数 8

ひとこと要約

本稿では、独立同一分布（i.i.d.）や定常性、エルゴード性などの仮定を必要とせず、任意の可算なモデルクラスに対して、最小記述長（MDL）予測が全変動距離において真のデータ分布に漸近的に収束することを確立している。主な結果は、時系列予測や強化学習のような複雑な非i.i.d.設定ですら、MDL予測がほとんど確実に真の測度と合流することを示している。

ABSTRACT

The Minimum Description Length (MDL) principle selects the model that has the shortest code for data plus model. We show that for a countable class of models, MDL predictions are close to the true distribution in a strong sense. The result is completely general. No independence, ergodicity, stationarity, identifiability, or other assumption on the model class need to be made. More formally, we show that for any countable class of models, the distributions selected by MDL (or MAP) asymptotically predict (merge with) the true measure in the class in total variation distance. Implications for non-i.i.d. domains like time-series forecasting, discriminative learning, and reinforcement learning are discussed.

研究の動機と目的

• 任意の可算なモデルクラスに対して、MDL予測が全変動距離で真のデータ分布にほとんど確実に収束することを確立すること。
• 従来のMDL一貫性結果で一般的に要求される制限的仮定（独立性、定常性、エルゴード性、同定可能性など）を排除すること。
• 時系列予測や強化学習のような非i.i.d.ドメインでも、MDLがベイズ的手法と同等の予測的一致性を達成することを示すこと。
• 有限時限予測におけるMDLの一般的で非漸近的な収束速度の上限を提供すること。
• 環境が非マルコフ的または非エルゴード的であるような識別的学習や強化学習の設定へMDLの一貫性を拡張すること。

提案手法

• 本稿では、データとモデルの複雑さのコード長の和を最小化するモデルとしてMDL予測を定義する：$\text{MDL}^x := \arg\min_{Q \in \mathcal{M}} \{ -\log Q(x) + K(Q) \}$、ここで$K(Q)$はコルモゴロフ複雑度である。
• MDLと真の分布$P$の間の予測的乖離を測る指標として全変動距離（tvd）を用い、$d_\infty(P, \text{MDL}^x|x) \to 0$が$\ell \to \infty$のときほとんど確実に成り立つことを示す。
• 証明は2段階に分けられる：まず有限モデルクラスに対して集中不等式を用い、次に対角線的構成とボレル＝カンテーリの補題を用いて可算クラスへ拡張する。
• 収束速度の上限を確立する：$\sum_{\ell=0}^\infty \mathbb{E}[d_h(P, \text{MDL}^x|x)] \leq 21 \cdot h \cdot 2^{K(P)}$、これは予測誤差の積分可能性を示している。
• 本手法は、有限またはi.i.d.設定に限定されない一般の可測空間$\mathcal{X}$に適用可能である。
• 過去の観測$y_{1:\ell}$に条件づけたMDLを用いて、識別的学習や強化学習へ枠組みを拡張し、$\text{MDL}^{x|y}$を$-\log Q(x|y) + K(Q)$を最小化するモデルとして定義する。

実験結果

リサーチクエスチョン

• RQ1 任意の可算なモデルクラスに対して、i.i.d. または定常性の仮定なしに、MDL予測は全変動距離で真の分布に収束するか？
• RQ2 依存性や非エルゴード性が一般的な時系列予測のような非i.i.d.設定では、MDLはどのように動作するか？
• RQ3 強化学習のような複雑な環境でも、MDLはベイズ手法と同等の予測的性能の一貫性をほとんど確実に達成できるか？
• RQ4 有限時限および無限時限設定において、MDL予測の真の分布への収束速度は何か？
• RQ5 $y$が非定常的または無限次元的であっても、$x$を$y$の下で予測する識別的学習において、MDLは一貫性を保つのか？

主な発見

• 任意の可算なモデルクラス$\mathcal{M}$に対して、MDL予測は全変動距離で真の分布$P$に漸近的に合流する：$d_\infty(P, \text{MDL}^x|x) \to 0$が$\ell \to \infty$のときほとんど確実に成り立つ。
• 収束はほとんど確実であり、モデルクラスに何らの仮定（独立性、定常性、エルゴード性、同定可能性）を必要としない。
• 有限時限の収束速度が確立された：$\sum_{\ell=0}^\infty \mathbb{E}[d_h(P, \text{MDL}^x|x)] \leq 21 \cdot h \cdot 2^{K(P)}$、これは時間経過に伴う予測誤差の積分可能性を示している。
• 識別的学習において、$x$を$y$の下で予測する場合、MDL予測$\text{MDL}^{x|y}$も、ほとんどすべての$y_{1:\infty}$に対して真の分布$P$に全変動距離で収束する。これは、$\mathcal{Y}$が無限または$y_t$が非i.i.i.d.であっても成り立つ。
• 強化学習において、MDLに基づく価値関数推定値は真の価値関数に収束する：$V_{\text{MDL}}[xy] - V_P[xy] \to 0$がほとんど確実に成り立つ。これは任意の固定方策のもとで成立する。
• 真の環境$\mu$が非マルコフ的または非エルゴード的であっても、結果は成り立つ。これは、MDLが複雑で現実的な動的システムに対しても頑健であることを示している。