[論文レビュー] Information theory and learning: a physical approach

Ilya Nemenman|ArXiv.org|Sep 8, 2000

Computability, Logic, AI Algorithms参考文献 71被引用数 14

ひとこと要約

本稿では、時系列における過去と未来の間の相互情報量として定義される予測情報——動的システムおよび学習プロセスにおける複雑性の普遍的指標として導入する。予測情報のべき則的増加が、従来の研究で扱われたものよりも質的により複雑なシステムを明らかにすることを示し、連続的および離散的確率分布の学習を正則化するための内在的オッカム係数を備えたベイズ非パラメトリック手法を構築する。これにより、データのみからモデルクラスの選択が可能になる。

ABSTRACT

We try to establish a unified information theoretic approach to learning and to explore some of its applications. First, we define {\em predictive information} as the mutual information between the past and the future of a time series, discuss its behavior as a function of the length of the series, and explain how other quantities of interest studied previously in learning theory - as well as in dynamical systems and statistical mechanics - emerge from this universally definable concept. We then prove that predictive information provides the {\em unique measure for the complexity} of dynamics underlying the time series and show that there are classes of models characterized by {\em power-law growth of the predictive information} that are qualitatively more complex than any of the systems that have been investigated before. Further, we investigate numerically the learning of a nonparametric probability density, which is an example of a problem with power-law complexity, and show that the proper Bayesian formulation of this problem provides for the `Occam' factors that punish overly complex models and thus allow one {\em to learn not only a solution within a specific model class, but also the class itself} using the data only and with very few a priori assumptions. We study a possible {\em information theoretic method} that regularizes the learning of an undersampled discrete variable, and show that learning in such a setup goes through stages of very different complexities. Finally, we discuss how all of these ideas may be useful in various problems in physics, statistics, and, most importantly, biology.

研究の動機と目的

• 学習および動的システムにおける予測情報を、統一的かつ物理的に根拠を持つ複雑性の指標として確立すること。
• 予測情報のべき則的増加が、従来の統計力学や学習理論で研究されてきたモデルよりも質的により高い複雑性を持つシステムをどのように明らかにするかを調査すること。
• 滑らかさスケールの周辺化を介してモデル複雑性をペナルティ化する内在的オッカム係数を自然に組み込む、連続確率密度の学習に適したベイズ非パラメトリックフレームワークを構築すること。
• データが不足している離散変数の学習に情報理論的正則化を用いる方法を設計し、モデル複雑性のデータ駆動的選択を可能にすること。
• データそのものが最適な滑らかさスケールや正則化パラメータを決定でき、事前の仮定への依存を最小限に抑えることを実証すること。

提案手法

• 時系列の過去と未来のセグメント間の相互情報量として予測情報を定義し、予測可能性と複雑性の中心的指標として用いる。
• ベイズ非パラメトリック密度推定における場理論的事前分布を用い、滑らかさスケール $ l $ に依存する運動エネルギー項およびゆらぎ項を有する有効ハミルトニアンを導出する。
• 経路積分法および複素平面におけるコーシー積分を用いて、非パラメトリック学習問題の相関関数および分配関数を計算する。
• 過剰に複雑なモデルをペナルティ化するゆらぎ行列式（オッカム係数）を含む有効作用を導出し、滑らかさスケールの周辺化を介してモデルクラスの選択を可能にする。
• データそのものの構造を用いて正則化パラメータ $ heta $（または $ heta^* $）のデータ駆動的選択を行うことで、外部の仮定に依存しない。
• 離散分布におけるディリクレ事前分布を用いたトロイモデルを用いて、有効作用の振る舞いを分析し、最適な正則化パラメータ $ heta^* $ を導出する。

実験結果

リサーチクエスチョン

• RQ1 予測情報は、動的システムおよび学習プロセスにおける普遍的かつ物理的に根拠を持つ複雑性指標として機能できるか？
• RQ2 予測情報のべき則的増加は、従来の統計力学や学習理論で研究されてきたモデルとは異なり、質的により高い複雑性を持つシステムをどのように明らかにするか？
• RQ3 適切な事前分布を備えたベイズ非パラメトリック学習は、外部の仮定なしにオッカムの剃刀を自然に実装できるか？
• RQ4 データが不足している場合に、情報理論的正則化をどのように用いて離散確率分布を学習できるか？
• RQ5 非パラメトリック学習において、データそのものが最適な滑らかさスケールや正則化パラメータを決定できるか？これにより、事前の知識への依存を最小限に抑えることができるか？

主な発見

• 予測情報は、統計モデルおよび動的システムの複雑性を一意に特徴づけ、べき則的増加は指数的または対数的増加よりも質的により高い複雑性を示す。
• 非パラメトリック密度推定において、場理論的事前分布を用いたベイズ定式化は、ゆらぎ行列式（オッカム係数）を含む有効ハミルトニアンを導出し、過剰に複雑なモデルを自然にペナルティ化する。
• 最適な滑らかさスケール $ l^* $ は、滑らかなターゲット密度に対して $ N^{1/3} $ のスケーリングに従うことが判明し、最小記述長原理およびオッカムの剃刀と整合的である。
• 「誤った」事前分布であっても、データが十分に情報量を有していれば、事前分布のバイアスを支配し、一貫した学習結果が得られる。
• 離散変数の学習において、データを用いて最適な正則化パラメータ $ heta^* $ を選択可能であり、数値結果から $ heta^* $ がターゲット分布のアンサンブルに適応することが示された。
• 本手法により、特定のモデルだけでなく、モデルクラス自体を、データと最小限の事前仮定のみを用いて学習可能であり、特にデータが不足している状況下で顕著である。