[論文レビュー] How to Implement A Priori Information: A Statistical Mechanics Approach

Joerg C. Lemm|arXiv (Cornell University)|Aug 4, 1998

Statistical Mechanics and Entropy参考文献 59被引用数 3

ひとこと要約

本稿は、限られた学習データにおける学習問題に、複雑な事前知識を統合するための統計力学に基づくフレームワークを提案する。事前知識を二次的要因に分解し、論理的かつ論理的または論理的排他的結合を用いて組み合わせることで、柔軟な誤差汎関数を構築する。これにより、古典的手法を越えた非凸的・非ガウス型正則化が可能となり、非線形かつ非一様な積分微分方程式としての定常性方程式でさえも、数値的に解けることが示されている。

ABSTRACT

A new general framework is presented for implementing complex a priori knowledge, having in mind especially situations where the number of available training data is small compared to the complexity of the learning task. A priori information is hereby decomposed into simple components represented by quadratic building blocks (quadratic concepts) which are then combined by conjunctions and disjunctions to built more complex, problem specific error functionals. While conjunction of quadratic concepts leads to classical quadratic regularization functionals, disjunctions, representing ambiguous priors, result in non--convex error functionals. These go beyond classical quadratic regularization approaches and correspond, in Bayesian interpretation, to non--gaussian processes. Numerical examples show that the resulting stationarity equations, despite being in general nonlinear, inhomogeneous (integro--)differential equations, are not necessarily difficult to solve. Appendix A relates the formalism of statistical mechanics to statistics and Appendix B describes the framework of Bayesian decision theory.

研究の動機と目的

• 限られた学習データを伴う学習タスクに、複雑な事前知識を統合する一般化された手法を開発すること。
• 論理的排他的結合を許容することで、古典的二次正則化を拡張し、非凸的誤差汎関数を導くこと。
• 曖昧または非ガウス的事前分布を原理的かつ整合的に取り扱うための統計力学的基盤を提供すること。
• 得られる非線形かつ非一様な定常性方程式が、その複雑さにもかかわらず数値的に解けることを示すこと。
• 統計力学とベイズ的意思決定理論を統合し、事前制約下でのロバストな学習を実現すること。

提案手法

• 事前知識を基本的な二次的要因（二次的構成要素）に分解する。
• 論理的かつ（一貫性のある事前知識の場合）および論理的または（曖昧または矛盾する事前知識の場合）を用いてこれらの要因を組み合わせる。
• 二次的要因の組み合わせとして誤差汎関数を構築し、論理的かつの場合は凸的、論理的またはの場合は非凸的となる形をとる。
• 得られた誤差汎関数から定常性方程式を導出し、一般に非線形かつ非一様な積分微分方程式となる。
• 統計力学の形式的枠組みを用いて、これらの方程式の構造と解法可能性を分析する。
• ベイズ的解釈において非ガウス過程事前分布を通じて、フレームワークをベイズ的意思決定理論と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 複雑な事前知識を、学習フレームワークに体系的かつ符号化的に分解・統合する方法は何か？
• RQ2 二次的要因を論理的またはで結合した際に生じる数学的構造は何か？また、古典的正則化とはどのように異なるか？
• RQ3 論理的または事前知識から導かれる非凸的誤差汎関数は、数値的に効果的に解けるか？
• RQ4 統計力学的手法は、ベイズ学習における非ガウス的事前分布の基盤をどのように提供するか？
• RQ5 提案された形式的枠組みと、ベイズ的意思決定理論における既存のフレームワークとの関係は何か？

主な発見

• 本フレームワークは、論理的または事前知識を組み込むことで、古典的二次正則化を拡張し、複雑な事前知識を捉える非凸的誤差汎関数を実現した。
• 非線形性および非一様性にもかかわらず、誤差汎関数から導かれる定常性方程式は、数値例によりその数値的扱いやすさが示された。
• 二次的要因の論理的またはは、ベイズ的解釈において非ガウス過程事前分布に対応し、ガウス仮定に比べてより洗練されたモデリングを可能にする。
• 形式的枠組みは、二次的成分の論理的結合を通じて、曖昧または矛盾する事前情報を体系的に符号化する方法を提供する。
• 付録AおよびBは、それぞれ統計力学と統計学、および本フレームワークとベイズ的意思決定理論との間の厳密な関係を確立している。
• 本手法は、従来の正則化が複雑な構造的制約を捉えきれない低データ環境において特に有効である。