[論文レビュー] Learning Continuous Distributions: Simulations With Field Theoretic Priors

Ilya Nemenman, William Bialek|arXiv (Cornell University)|Jan 1, 2000

Gaussian Processes and Bayesian Inference参考文献 6被引用数 1

ひとこと要約

この論文は、量子場理論の原則を用いて無限次元関数空間における滑らかさを正則化する、非パラメトリック密度推定のための場理論的事前分布を提案する。データから滑らかさのスケールを自己整合的に決定でき、事前分布の選択に対する感度が低減され、小さなデータセットでも頑健な推定が可能になる。

ABSTRACT

Learning of a smooth but nonparametric probability density can be regularized using methods of Quantum Field Theory. We implement a field theoretic prior numerically, test its efficacy, and show that the free parameter of the theory (‘smoothness scale’) can be determined self consistently by the data; this forms an infinite dimensional generalization of the MDL principle. Finally, we study the implications of one’s choice of the prior and the parameterization and conclude that the smoothness scale determination makes density estimation very weakly sensitive to the choice of the prior, and that even wrong choices can be advantageous for small data sets. One of the central problems in learning is to balance ‘goodness of fit ’ criteria against the complexity of models. An important development in the Bayesian approach was thus the realization that there does not need to be any extra penalty for model complexity: if we compute the total probability that data are generated by a model, there is a factor from the

研究の動機と目的

• 量子場理論にインspiredされた事前分布を用いて、滑らかな確率密度を学習する非パラメトリックベイズ手法の開発。
• 恣意的なペナルティを用いずに、無限次元空間におけるモデルの複雑さを正則化すること。
• 滑らかさのスケールパラメータをデータから自己整合的に決定し、MDL原理を一般化すること。
• 事前分布の選択およびパrameterizationに起因する密度推定への感受性の調査。
• 誤った事前分布を想定しても、小さなデータセットに対して頑健でかつ高い性能を示すかの評価。

提案手法

• 滑らかさを関数空間に強制するために、数値的に場理論的事前分布を実装する。
• 量子場理論の機能的積分法を用いて、連続的分布上の事前分布を定義する。
• 観測データが与えられたもとでの密度関数の事後分布を計算するためにベイズ推論を適用する。
• 自由パラメータ（滑らかさスケール）を導入し、周辺尤度の最大化によってデータから自己整合的に決定する。
• 場理論的フレームワークを通じて、無限次元モデルへの最小記述長（MDL）原理の一般化を行う。
• 数値シミュレーションを用いて手法の妥当性を検証し、事前分布およびパrameterizationの選択が与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 場理論的事前分布は、無限次元関数空間における非パラメトリック密度推定を効果的に正則化できるか？
• RQ2 得られる密度推定は、事前分布およびパrameterizationの選択にどれほど感受性を示すか？
• RQ3 滑らかさスケールはデータから自己整合的に決定可能であり、手動でのチューニングの必要がなくなるか？
• RQ4 誤った事前分布を用いても、特に小さなデータセットにおいても手法の性能が維持されるか？
• RQ5 自己調整された滑らかさスケールは、事前仮定への依存度をどの程度低減するか？

主な発見

• 滑らかさスケールパラメータがデータから成功裏に自己整合的に決定され、外部のチューニングの必要がなくなる。
• 自己調整機構のおかげで、密度推定は事前分布の選択に対して極めて弱い感受性を示す。
• 誤った事前分布でも、小さなデータセットにおいて有利な結果が得られることが示され、事前分布の誤りに対する頑健性が示唆される。
• 場理論的正則化を通じて、MDL原理が無限次元モデルに一般化される。
• 数値的シミュレーションにより、滑らかで非パラメトリックな密度を学習する手法の有効性が確認される。
• 場理論的事前分布は、追加のペナルティ項を設けずに、モデルの複雑さとデータ適合のバランスを効果的にとる。