[論文レビュー] Minimum Encoding Approaches for Predictive Modeling

Peter Grünwald, Petri Kontkanen+3 more|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 11被引用数 20

ひとこと要約

この論文は、予測モデリングのための最小メッセージ長（MML）原則を再考し、小さなデータセットにおけるMMLのパフォーマンスを向上させる2つの改良された推定子—点推定型と体積推定型—を提案する。これらを最小記述長（MDL）原理と比較したところ、MDLはより正確な予測をもたらす一方で、実験的評価では改訂版MML推定子が元のMML定式化を上回ることがわかった。

ABSTRACT

We analyze differences between two information-theoretically motivated approaches to statistical inference and model selection: the Minimum Description Length (MDL) principle, and the Minimum Message Length (MML) principle. Based on this analysis, we present two revised versions of MML: a pointwise estimator which gives the MML-optimal single parameter model, and a volumewise estimator which gives the MML-optimal region in the parameter space. Our empirical results suggest that with small data sets, the MDL approach yields more accurate predictions than the MML estimators. The empirical results also demonstrate that the revised MML estimators introduced here perform better than the original MML estimator suggested by Wallace and Freeman.

研究の動機と目的

• MDLとMMLの原則が統計的推論およびモデル選択においてどのように異なり、どのような理論的・実践的意味を持つのかを分析・明確化すること。
• 特に小標本における予測性能に制限を受ける元のMML推定子の課題を解決すること。
• 情報理論的最適性とより整合性の高い、改訂版MML推定子（点推定型および体積推定型）を考案すること。
• 小さなデータセットにおけるMDLおよび新規MML推定子の予測精度を実験的に評価すること。
• 改訂版MMLアプローチが元のMMLを上回ることを示し、同時にMDLと同等の性能を維持できることを示すこと。

提案手法

• メッセージ長を最小化する唯一のパラメータ値を選択する点推定型MML推定子を提案する。
• メッセージ長最小化に基づいてパラメータ空間内の最適な領域を同定する体積推定型MML推定子を導入する。
• モデル選択に情報理論的符号化原理を適用し、モデルとデータを符号化されたメッセージとして扱う。
• ベイズ的枠組みを用いてメッセージ長の式を導出し、モデルの複雑さとデータへの適合性のバランスをとる。
• MDLおよびMMLの変種の間での予測精度を比較するために、小さなデータセットを用いた実験的評価を実施する。
• 核心的な結果が発表された元の出版会議はUAI 1998である。

実験結果

リサーチクエスチョン

• RQ1 MDLとMMLは、モデル選択における理論的基盤および実践的含みにおいて、どのように異なるか？
• RQ2 改訂版MML推定子は、元のMML定式化に比べて、予測性能を向上させることができるか？
• RQ3 MDLは、小標本における予測モデリングの場面で、一貫してMMLを上回る性能を示すか？
• RQ4 点推定型と体積推定型のMML推定子は、メッセージ長および予測精度の観点で、どのように比較できるか？
• RQ5 パラメータ空間の領域推定（体積推定型）と単一の点推定（点推定型）の違いが、モデル選択にどのような影響を与えるか？

主な発見

• 小さなデータセットにおいて、MDLアプローチは元のMML推定子よりもより正確な予測をもたらす。
• 点推定型および体積推定型の改訂版MML推定子は、元のMML定式化よりも改善された性能を示す。
• 実験的結果から、体積推定型MML推定子は点推定型よりも、モデルの複雑さとデータへの適合性のバランスが優れていることが明らかになった。
• 点推定型MML推定子は、単一のパラメータ値に対して最適なメッセージ長を達成し、元のMMLのパラメータ選択を改善した。
• 体積推定型MML推定子は、メッセージ長を最小化するパラメータ空間内の領域を同定し、小標本設定におけるロバストネスを向上させた。
• 全体として、改訂版MML推定子は元のMMLよりも効果的であることが示されたが、小さなデータではMDLが依然として予測精度で優れている。