[論文レビュー] Applying MDL to Learning Best Model Granularity

Qiong Gao, Ming Li+1 more|ArXiv.org|May 23, 2000

Computability, Logic, AI Algorithms参考文献 14被引用数 5

ひとこと要約

本論文は、コルモゴロフ複雑性に基づく最小記述長（MDL）原則を用い、手書き文字認識とロボットアームモデル化の2つの異なる学習タスクにおいて、最適なモデルの粒度を決定する。2部形式の符号化（モデル + データ誤差）によりデータを最も圧縮するモデルを選択することで、MDLは最適なパrameterの粒度（例：サンプリング間隔や隠れ層のサイズ）を特定する。両方の実験において、理論的に予測された最適値が、実験的に最も優れた性能を示す設定と一致した。

ABSTRACT

The Minimum Description Length (MDL) principle is solidly based on a provably ideal method of inference using Kolmogorov complexity. We test how the theory behaves in practice on a general problem in model selection: that of learning the best model granularity. The performance of a model depends critically on the granularity, for example the choice of precision of the parameters. Too high precision generally involves modeling of accidental noise and too low precision may lead to confusion of models that should be distinguished. This precision is often determined ad hoc. In MDL the best model is the one that most compresses a two-part code of the data set: this embodies ``Occam's Razor.'' In two quite different experimental settings the theoretical value determined using MDL coincides with the best value found experimentally. In the first experiment the task is to recognize isolated handwritten characters in one subject's handwriting, irrespective of size and orientation. Based on a new modification of elastic matching, using multiple prototypes per character, the optimal prediction rate is predicted for the learned parameter (length of sampling interval) considered most likely by MDL, which is shown to coincide with the best value found experimentally. In the second experiment the task is to model a robot arm with two degrees of freedom using a three layer feed-forward neural network where we need to determine the number of nodes in the hidden layer giving best modeling performance. The optimal model (the one that extrapolizes best on unseen examples) is predicted for the number of nodes in the hidden layer considered most likely by MDL, which again is found to coincide with the best value found experimentally.

研究の動機と目的

• MDLを用いた理論的モデル選択と実用的機械学習を結びつけるために、その実世界問題への適用可能性を検証すること。
• 恣意的なチューニングなしに、パrameterの精度やネットワークアーキテクチャなどの最適なモデルの粒度を特定すること。
• MDLが最小記述長を理論的に予測する方法が、実験的に最良の汎化性能に対応することを検証すること。
• MDLが離散化や構造的選択を伴う教師あり学習タスクにおけるモデル設計をどのように支援できるかを示すこと。

提案手法

• モデルとデータ誤差の合計記述長を最小化するモデル選択にMDL原則を適用する。
• 最小記述長をモデルの単純さと汎化性能の代理指標として解釈する理論的基盤として、コルモゴロフ複雑性を用いる。
• 2部形式の符号化方式を採用：1部はモデルパラメータを記述し、もう1部はモデルとデータの残差誤差を記述する。
• アルゴリズム的確率（普遍分布m）を用い、コルモゴロフ複雑性に基づいて事前確率を割り当て、単純なモデルを優遇する。
• 実験では、モデルの粒度（例：サンプリング間隔、隠れノード数）を変化させ、合計記述長が最小になる値を選択する。
• 理論的予測と実験的に得られた最適値を比較することで、予測の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 MDL原則は、実世界の学習タスクにおいて、最適なモデルの粒度を信頼性高く予測できるか？
• RQ2 最小記述長によって定義される理論的最適粒度が、実際の汎化性能において最良の結果をもたらすか？
• RQ3 MDLは、手書き文字認識における最適なサンプリング間隔の選定にどの程度効果的か？
• RQ4 MDLを用いて、ロボットアームモデリングのニューラルネットワークにおける最適な隠れノード数を特定できるか？

主な発見

• 手書き文字認識において、MDLが予測したサンプリング間隔（粒度）は、実験的に最適な値と一致し、最高の予測精度を達成した。
• 3層ニューラルネットワークを用いたロボットアームモデリングにおいて、MDLが予測した隠れノード数は、未学習データに対する最良の外挿性能を示す実験的最適構成と一致した。
• 理論的MDLモデル選択は、恣意的なパrameter選択よりも一貫して優れた性能を示し、異なる分野にわたり高いロバスト性を示した。
• 結果は、MDLの圧縮に基づくアプローチが実験的性能と整合することを裏付け、モデルの粒度選択における原理的で信頼性の高い手法としての有効性を示した。
• 本研究は、非自明なタスクであっても、複雑な適合を要せず、MDLを直接実学習システムに適用可能であることを示した。