[論文レビュー] Kutato: An Entropy-Driven System for Construction of Probabilistic Expert Systems from Databases

Edward H. Herskovits, Gregory F. Cooper|arXiv (Cornell University)|Mar 27, 2013

Bayesian Modeling and Causal Inference被引用数 28

ひとこと要約

Kutato は、エントロピー最小化を用いて顕著な従属関係を同定することで、データベースから確率的信念ネットワークを自動的に構築するシステムである。初期段階では周辺独立な変数から出発し、ネットワークのエントロピーを最も小さくするような弧を段階的に追加する。直接的な確率推定値をデータから得て、実験的検証において高い忠実度で元のネットワークを再構築する。

ABSTRACT

Kutato is a system that takes as input a database of cases and produces a belief network that captures many of the dependence relations represented by those data. This system incorporates a module for determining the entropy of a belief network and a module for constructing belief networks based on entropy calculations. Kutato constructs an initial belief network in which all variables in the database are assumed to be marginally independent. The entropy of this belief network is calculated, and that arc is added that minimizes the entropy of the resulting belief network. Conditional probabilities for an arc are obtained directly from the database. This process continues until an entropy-based threshold is reached. We have tested the system by generating databases from networks using the probabilistic logic-sampling method, and then using those databases as input to Kutato. The system consistently reproduces the original belief networks with high fidelity.

研究の動機と目的

• 関係データベースを確率的エキスパートシステムに変換するスケーラブルな手法を開発すること。
• 情報理論的原則を用いて、データ内の統計的に有意な条件付き依存関係を同定すること。
• エントロピーの最小化を通じて段階的な弧の追加によって信念ネットワークの構築を自動化すること。
• 合成データから元のネットワーク構造を回復できるかどうかを検証すること。
• ベイジアンネットワークにおける知識獲得のための実用的でデータ駆動のフレームワークを提供すること。

提案手法

• システムは、すべての変数が周辺独立である信念ネットワークから出発する。
• 現在のネットワーク構造のエントロピーを計算する。
• 全体のネットワークエントロピーを最も小さくするような任意の変数ペア間に弧を追加する。
• 各追加された弧の条件付き確率は、データベース内の経験的頻度から直接導出される。
• エントロピーに基づくしきい値に達するまで、弧を段階的に追加する。これにより、十分な構造的忠実度が達成されたと判断される。
• アルゴリズムは、ネットワーク再構築の正確性をテストするために、確率的論理サンプリングを用いて合成データベースを生成する。

実験結果

リサーチクエスチョン

• RQ1 エントロピー最小化は、データベース記録内の意味のある条件付き依存関係を効果的に同定できるか？
• RQ2 エントロピー駆動の構造学習を用いて、データのみから信念ネットワークをどの程度再構築できるか？
• RQ3 確率的サンプリングによって生成された合成データから、システムは元のネットワーク構造をどの程度正確に回復できるか？
• RQ4 段階的な弧の追加が、得られる信念ネットワークの忠実度にどのような影響を及えるか？
• RQ5 実際のデータベースサイズにスケーリング可能でありながら、構造的正確性を維持できるか？

主な発見

• Kutato は、既知のネットワークから生成されたデータベースに対してテストした結果、高い忠実度で元の信念ネットワークを再構築できた。
• エントロピー駆動の弧選択プロセスは、データ内での最も情報量の多い依存関係を一貫して同定した。
• データから直接導出された条件付き確率は、追加のチューニングなしに正確なネットワークパラメータを提供した。
• 完全に独立なネットワークから出発しても、信頼性の高い構造学習が実現した。
• 複数のテストケースにおいて、さまざまなデータ条件下でも構造的正確性を維持するという、強固な性能を示した。
• エントロピーしきい値を用いることで、モデルの複雑さとデータへの適合性のバランスを効果的にとった。