[論文レビュー] A tutorial introduction to the minimum description length principle

Peter Grünwald|ArXiv.org|Jun 4, 2004

Computability, Logic, AI Algorithms参考文献 68被引用数 254

ひとこと要約

このチュートリアルは、学習をデータ圧縮として定式化する原理的で、最小記述長（MDL）原則をモデル選択のための方法として紹介する。情報理論的コードを用いて、モデルの適合度と複雑さのトレードオフを形式化し、過剰適合を自然に回避する非ベイズ的で一貫性のあるアプローチを提供する。真の下位モデルが存在するという仮定をせず、予測性能とオッカムの剃刀に整合する推論を可能にする。

ABSTRACT

This tutorial provides an overview of and introduction to Rissanen's Minimum Description Length (MDL) Principle. The first chapter provides a conceptual, entirely non-technical introduction to the subject. It serves as a basis for the technical introduction given in the second chapter, in which all the ideas of the first chapter are made mathematically precise. The main ideas are discussed in great conceptual and technical detail. This tutorial is an extended version of the first two chapters of the collection "Advances in Minimum Description Length: Theory and Application" (edited by P.Grunwald, I.J. Myung and M. Pitt, to be published by the MIT Press, Spring 2005).

研究の動機と目的

• MDL原則をモデル選択問題の解決法として、技術的でない概念的基盤を提供すること。
• 情報理論を用いてMDLを形式化し、記述長の最小化が最適なモデル選択にどのように導くかを示すこと。
• MDLの哲学的立場を明確にし、特にオッカムの剃刀との整合性と、真のモデルの存在に依存しないことの意義を説明すること。
• MDLをベイズ推論や他の帰納的推論手法と比較し、主な相違点と利点を強調すること。
• 粗いMDLの限界、特にモデルの複雑さや小標本サイズの処理における問題を解決する、洗練されたMDLを提示すること。

提案手法

• コルモゴロフ・コンプレックスィティとプレフィックス・コードを用いて、データ内の規則性が圧縮可能であるという考えを形式化する。
• 仮説とデータを符号化する実用的手段として二段階コードを導入し、合計記述長を最小化する。
• クラフトの不等式を用いて符号長と確率分布を結びつけ、確率的解釈を可能にする。
• 洗練されたMDLのための最適なユニバーサルモデルとして、正規化最大尤度（NML）分布を構築する。
• 洗練されたMDLの4つの解釈を導入する：圧縮、数え上げ、ベイズ的、および逐次的（予測的）解釈。
• NMLモデルを用いて、無限のモデルクラスにおける「無限大問題」を解決する。

実験結果

リサーチクエスチョン

• RQ1 情報理論を用いて、学習をどのようにデータ圧縮として形式化できるか？
• RQ2 モデル選択において、モデルの複雑さ、データへの適合度、記述長の関係は何か？
• RQ3 真のモデルが存在するという仮定をせず、MDLはどのように過剰適合を回避するのか？
• RQ4 MDLは哲学的にベイズ推論とはどのように異なり、それらはどのように関係するのか？
• RQ5 モデルの数が無限大である場合、MDLはどのようにモデル選択に応用できるか？

主な発見

• MDLは、モデルの適合度と複雑さのバランスを自然にとる、原理的で非ベイズ的なモデル選択手法を提供し、過剰適合を回避する。
• NML分布は、最悪ケースの後悔を最小化する最適なユニバーサルモデルであることが示され、洗練されたMDLに最適である。
• 概算すると、与えられたモデルに対するデータの記述長は、負の対数尤度に等しくなる。一方、仮説の符号長はモデルの複雑さをペナルティとして課す。
• MDLは予測的（逐次的）符号化の一種として解釈でき、未観測データに対する予測性能と直接結びつく。
• MDLは真のモデルの存在を仮定しないため、モデル集合に正確に一致するモデルが存在しない現実的状況でも頑健である。
• 洗練されたMDLアプローチは、標本サイズとモデルの複雑さに適応するユニバーサルモデルを用いることで、「無限大問題」を解決する。