[論文レビュー] Credal Networks under Maximum Entropy

Thomas Lukasiewicz|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 35被引用数 17

ひとこと要約

本稿は、曖昧性を解消するため、曖昧確率的モデルにおける結合確率分布を一意に特定するための逐次的最エントロピー手法を導入する。この手法は、すべてのベイジアンネットワーク（一般および区間ベースのものも含む）に対して、グローバルな最大エントロピー原理と整合する局所的エントロピー最大化を実行することで、一意の結合分布を導くことを証明する。

ABSTRACT

We apply the principle of maximum entropy to select a unique joint probability distribution from the set of all joint probability distributions specified by a credal network. In detail, we start by showing that the unique joint distribution of a Bayesian tree coincides with the maximum entropy model of its conditional distributions. This result, however, does not hold anymore for general Bayesian networks. We thus present a new kind of maximum entropy models, which are computed sequentially. We then show that for all general Bayesian networks, the sequential maximum entropy model coincides with the unique joint distribution. Moreover, we apply the new principle of sequential maximum entropy to interval Bayesian networks and more generally to credal networks. We especially show that this application is equivalent to a number of small local entropy maximizations.

研究の動機と目的

• 曖昧ネットワークにおける曖昧性を解消し、一意の結合確率分布を選択すること。
• 最大エントロピーの原則を一般ベイジアンネットワークおよび区間ベースのモデルに拡張すること。
• 逐次的最エントロピーがベイジアンツリーにおいてグローバル最大エントロピーと同一の結果をもたらすことを示すこと。
• 新手法と曖昧ネットワークにおける局所的エントロピー最大化との同等性を示すこと。
• 曖昧確率における推論に対して、原理的かつ計算的に実行可能なアプローチを提供すること。

提案手法

• 曖昧ネットワークに適合するすべての分布の集合から一意の結合分布を選択するために、最大エントロピーの原則を適用する。
• トポロジカル順序に従ってノードを処理する逐次的手法を導入し、最大エントロピーモデルを計算する。
• ベイジアンツリーにおいて、逐次的手法がグローバル最大エントロピーと同一の分布を回復することを証明する。
• 一般ベイジアンネットワークにこのアプローチを拡張し、逐次的最エントロピーが一意の結合分布をもたらすことを示す。
• 局所的エントロピー最大化を通じて、区間ベイジアンネットワークおよび一般曖昧ネットワークにこの手法を適用する。
• グローバル最大エントロピー解が、小さな局所的エントロピー最大化の系列と同等であることを示す。

実験結果

リサーチクエスチョン

• RQ1 最大エントロピーの原則は、曖昧ネットワークから一意の結合分布を選択できるか？
• RQ2 逐次的最エントロピー手法は、ベイジアンツリーにおいてグローバル最大エントロピーと同一の結果をもたらすか？
• RQ3 グローバル手法が失敗する一般ベイジアンネットワークにおいて、最大エントロピーをどのように適用できるか？
• RQ4 逐次的最エントロピーモデルは、曖昧ネットワークにおける局所的エントロピー最大化と同等か？
• RQ5 この手法は、区間ベイジアンネットワークおよびより一般的な曖昧ネットワークに拡張可能か？

主な発見

• ベイジアンツリーにおいて、逐次的最エントロピーによって導かれる一意の結合分布は、グローバル最大エントロピーモデルと一致する。
• 逐次的最エントロピー手法は、すべての一般ベイジアンネットワークに対して一意の結合分布を提供する。
• この手法は、曖昧ネットワークにおける一連の小さな局所的エントロピー最大化と同等である。
• このアプローチは、区間ベイジアンネットワークおよび一般曖昧ネットワークへの最大エントロピーの拡張に成功している。
• 逐次的手法は、最大エントロピー原理と整合的でありながら、計算的に実行可能であることを保証する。
• 結果として、不確実性下での曖昧確率的推論を扱う原理的かつ効果的な方法が確立された。