[論文レビュー] A Short Introduction to Model Selection, Kolmogorov Complexity and Minimum Description Length (MDL)

Volker Nannen|arXiv (Cornell University)|May 13, 2010

Computability, Logic, AI Algorithms参考文献 11被引用数 3

ひとこと要約

本稿は、コルモゴロフ・コンプレックスィティと最小記述長（MDL）を用いたモデル選択の原則を提示し、訓練データに対してモデルが複雑になりすぎると過学習が生じることを示している。過学習の『本質的過学習の点』——一般化誤差が単純なモデルのそれより永久に上回る点——を、モデル選択の堅牢で定量的な境界として特定し、局所的最小値や小標本における過学習に陥りやすい従来の手法の代替としての原理的枠組みを提供している。

ABSTRACT

The concept of overfitting in model selection is explained and demonstrated with an example. After providing some background information on information theory and Kolmogorov complexity, we provide a short explanation of Minimum Description Length and error minimization. We conclude with a discussion of the typical features of overfitting in model selection.

研究の動機と目的

• 過学習のパラドックス——より複雑なモデルが訓練データへの適合は良いが、未知データでは性能が低下する——を解明すること。
• 情報理論的原則を用いてモデルの複雑さと一般化誤差のバランスを取る、原理的枠組みを確立すること。
• 一般化誤差が常に基本モデル（原点）のそれより上回るようになる『本質的過学習の点』——一般化誤差が永久に上回る点——を、信頼性があり客観的なモデル拒否の基準として特定すること。
• 交差検証のような一般的な手法が、標本ノイズの影響を受けて偽の最小値を示し、信頼性を得るには平滑化が必要であることを示すこと。
• 従来の誤差最小化手法よりも、MDLに基づくアプローチが過学習や偽の最小値に対してより頑健であることを提唱すること。

提案手法

• ノイズのあるローレンツアトラクトルをフィッティングする43次多項式回帰問題を用い、過学習を実証的に示している。
• 最小記述長（MDL）原則を適用し、モデルの複雑さ（パラメータのコード長）とデータへの適合度（残差のコード長）のバランスを取っている。
• 一般化誤差を、0から60次の多項式に対して、独立同一分布（i.i.d.）の訓練およびテスト標本を用いて評価している。
• 『良い一般化の領域』を、原点（定数モデル）とグローバル最適解の中間より良い性能を示すモデルとして定義している。
• 『偽の最小値』——標本ノイズや数値的アーチファクトによって生じる局所的最適解——を特定し、異なる標本では消えたり現れたりすることを示している。
• 平滑化技術（例：3つの隣接する値の平均化）を導入し、交差検証の安定性を高め、偽の最小値の影響を軽減している。

実験結果

リサーチクエスチョン

• RQ1 過学習のパラドックス——より複雑なモデルが訓練データへの適合は良いが、未知データでは性能が低下する——原因は何か？
• RQ2 局所的最小値に依存せず、モデルが永久に過学習状態になる境界を、信頼性があり客観的な基準としてどのように定義できるか？
• RQ3 交差検証のような従来のモデル選択手法が、なぜ偽の最小値に陥りやすく、どのようにして安定化できるか？
• RQ4 MDL原則は、さまざまなモデル族において、誤差最小化を上回る過学習回避能力をどの程度示すか？
• RQ5 多項式モデルの一般化誤差は、次数が増加するに従いどのように変化するか？ そして、不可逆的劣化の閾値に達するのはどこか？

主な発見

• ローレンツアトラクトルの多項式モデルにおける一般化誤差は、0次モデルのベースラインσ² = 18から、43次で最小値σ² = 2.7に低下し、それ以上では急激に上昇する。
• 43次を超えると、一般化誤差は崩壊的に上昇し、局所的最大値が初期誤差σ² = 18を超えることがある。これは、不可逆的過学習の始まりを示している。
• 一般化誤差が原点の誤差を永久に上回る『本質的過学習の点』は、明確で安定した境界であり、平滑化や標本の変動に強く頑健である。
• 異なる訓練標本で出現・消滅する偽の最小値は、交差検証において顕著な問題であり、補正されないままではモデル選択を誤導するおそれがある。
• 交差検証の結果を平滑化（例：3つの隣接値の平均化）することで、偽の最小値の影響が効果的に軽減され、信頼性が向上する。
• MDLに基づく手法は、標準的な誤差最小化手法よりも、特に小標本領域において偽の最小値や過学習に対してより頑健であることが示された。