[論文レビュー] Strong Asymptotic Assertions for Discrete MDL in Regression and Classification

Jan Poland, Marcus Hütter|ArXiv.org|Jan 31, 2005

Computability, Logic, AI Algorithms参考文献 14被引用数 6

ひとこと要約

本稿は、回帰および分類における離散的最小記述長（MDL）原則に対して、真のモデルが可算なモデルクラスに含まれるという唯一の仮定の下で、強い漸近的収束保証を確立する。MDL予測子が真の分布へほとんど確実に高速なレートで収束することを示し、有限で指数的に有界なヘルンガー損失の和が得られることを示している。これは、MDLの損失境界がベイズ混合に比べて高いものの、依然として収束が速いことを示している。

ABSTRACT

We study the properties of the MDL (or maximum penalized complexity) estimator for Regression and Classification, where the underlying model class is countable. We show in particular a finite bound on the Hellinger losses under the only assumption that there is a "true" model contained in the class. This implies almost sure convergence of the predictive distribution to the true one at a fast rate. It corresponds to Solomonoff's central theorem of universal induction, however with a bound that is exponentially larger.

研究の動機と目的

• 回帰および分類設定における離散的MDL原則の強い漸近的予測的性質を確立すること。
• 真のモデルが可算なモデルクラスに含まれる場合、MDL予測子がほとんど確実に真の分布へ収束することを示すこと。
• MDLの累積ヘルンガー損失および二乗予測損失に対して、有限で明示的な境界を導出すること。これは滑らかさや連続性の仮定がなくても成立する。
• MDLの性能を理想のベイズ混合と比較し、計算の実行可能性と予測損失のトレードオフを明らかにすること。
• 系列予測から回帰および分類へ結果を拡張し、回帰ケースにおける技術的課題をヘルンガー距離を用いて解決すること。

提案手法

• 観測ごとにモデルを更新するオンラインで逐次的な学習フレームワークを用い、動的適応を保証する。
• 中間ステップとして動的MDLを導入し、各次の観測に対して新しいMDL推定子を計算することで、予測性能を分析する。
• 回帰における非有界密度を伴う状況でも優れた性質を示すため、主にヘルンガー距離を損失関数として採用する。
• クラフト不等式を用いて、事前重みに基づきモデルにプレフィックス符号を割り当て、記述長に基づくモデル選択を可能にする。
• 集中法およびマルティンゲールの議論を用いて、予測分布と真の分布の間の累積ヘルンガー距離および二乗距離の境界を導出する。
• 系列予測（PH04a）の結果を、入力を条件付け、分類における有限の共域を活用することで、回帰および分類へ適応する。

実験結果

リサーチクエスチョン

• RQ1 回帰における離散的MDL推定子は、最小限の仮定の下で、真の条件付き密度へほとんど確実に収束するか？
• RQ2 回帰および分類におけるMDL予測子の累積ヘルンガー損失に対して、有限で明示的な境界を導出できるか？
• RQ3 MDLの予測性能は、理想のベイズ混合と比較して、損失境界および収束速度の観点でどのように異なるか？
• RQ4 モデルクラスの離散性が、MDLにおける予測の一貫性および収束速度に与える影響は何か？
• RQ5 系列予測の結果を、適切な損失関数を用いて回帰および分類へ一般化できるか？

主な発見

• 静的MDL予測子の累積ヘルンガー損失の和は、真のモデルの事前重みにのみ依存する定数で有界であり、具体的には ≤ 21w_μ⁻¹ である。
• MDL予測子は、任意の固定された大きさの偏差が有限回しか発生しないという性質を満たし、真の分布へほとんど確実に高速なレートで収束する。
• 回帰において、累積ヘルンガー損失の和の境界は有限であり、明示的に記述されており、真のモデルが可算クラスに含まれるという仮定の下で、迅速な収束が保証される。
• 分類においては、予測確率と真の確率の間の累積二乗距離も 21w_μ⁻¹ で有界であり、予測のほとんど確実な収束が保証される。
• MDLの損失境界は、ベイズ混合のものよりも指数的に大きいが、依然として有限かつ鋭く、既知の例によって実証されている。
• 滑らかさや連続性の仮定がなくても、真のモデルが可算クラスに含まれるという前提のみで、結果は成立する。