[論文レビュー] Score and Information for Recursive Exponential Models with Incomplete Data

Bo Thiesson|arXiv (Cornell University)|Feb 6, 2013

Bayesian Modeling and Causal Inference参考文献 14被引用数 20

ひとこと要約

本稿は、不完全なデータを伴う再帰的指数型モデルのフレームワークを提示し、近似的に共役な事前分布を介して専門家知識を統合する。従来のスコアおよび事後ベースのスコアと観察情報の測度を導出することで、不確実性および部分的なデータ下でのベイズネットワークにおける頑健な統計的推論を可能にする。

ABSTRACT

Recursive graphical models usually underlie the statistical modelling concerning probabilistic expert systems based on Bayesian networks. This paper defines a version of these models, denoted as recursive exponential models, which have evolved by the desire to impose sophisticated domain knowledge onto local fragments of a model. Besides the structural knowledge, as specified by a given model, the statistical modelling may also include expert opinion about the values of parameters in the model. It is shown how to translate imprecise expert knowledge into approximately conjugate prior distributions. Based on possibly incomplete data, the score and the observed information are derived for these models. This accounts for both the traditional score and observed information, derived as derivatives of the log-likelihood, and the posterior score and observed information, derived as derivatives of the log-posterior distribution. Throughout the paper the specialization into recursive graphical models is accounted for by a simple example.

研究の動機と目的

• 分野固有の専門家知識を局所的モデル断片に組み込む再帰的指数型モデルを形式化すること。
• データが不完全な場合、特に確率的エキスパートシステムにおいて統計的推論の課題に対処すること。
• 曖昧な専門家意見を、モデルの柔軟性を向上させるために、近似的に共役な事前分布に翻訳すること。
• パrameter推定のための古典的および事後ベースのスコアと観察情報測度を両方導出すること。
• 再帰的グラフィカルモデルの簡略化された例を通じて、手法の適用可能性を示すこと。

提案手法

• ベイズネットワークの拡張として再帰的指数型モデルを定義し、分野知識の構造的統合を可能にする。
• 曖昧な専門家知識を用いて、ベイズ更新を容易にする近似的に共役な事前分布を構築する。
• 不完全なデータ下での対数尤度関数の導関数として、従来のスコアと観察情報の導出。
• 事前情報に対応する対数事後分布の導関数として、事後スコアと観察情報の導出。
• フィッシャー情報とスコア関数を尤度と事後分布の両方に対して適用し、パrameter推定と推論を支援。
• 最小限の再帰的グラフィカルモデルを用いて手法を図示し、構造的知識と専門家知識が推論にどのように統合されるかを示す。

実験結果

リサーチクエスチョン

• RQ1 曖昧に共役な事前分布を用いて、専門家知識を再帰的指数型モデルに体系的に統合する方法は何か？
• RQ2 再帰的指数型モデルにおいてデータが不完全な場合、スコアと観察情報の形態はどのように定式化されるか？
• RQ3 この文脈において、事後スコアと観察情報は、古典的対応物とどのように異なるか？
• RQ4 構造的知識と専門家意見を組み合わせることで、不完全なデータ設定下での統計的推論に与える影響は何か？
• RQ5 再帰的グラフィカルモデルは、複雑な依存関係を表現しつつ、計算の実行可能性をどのように維持できるか？

主な発見

• 本稿は、不完全なデータを伴う再帰的指数型モデルに対して、古典的および事後ベースのスコアと観察情報測度を成功裏に導出した。
• 近似的に共役な事前分布の使用により、曖昧な専門家知識を統計モデルに効果的に統合できるようになった。
• 事後スコアと観察情報が、対数事後分布の導関数として導出可能であることが示され、古典的推論をベイズ設定に拡張した。
• モデル構造と専門家意見を組み合わせることで、データが不完全な場合でも頑健なパrameter推定が可能となる。
• 手法は、単純な再帰的グラフィカルモデルの例を通じて検証され、実用的応用性が示された。
• 導出されたスコアと情報行列は、確率的エキスパートシステムにおける最適化と不確実性の定量化に適している。