[論文レビュー] An Efficient Search Strategy for Aggregation and Discretization of Attributes of Bayesian Networks Using Minimum Description Length

Corcoran, Jem, Tran, Daniel+1 more|arXiv (Cornell University)|Apr 3, 2014

Bayesian Modeling and Causal Inference参考文献 30被引用数 5

ひとこと要約

本稿では、最小記述長（MDL）原則を用いたベイジアンネットワークにおける連続変数の離散化のための効率的なトップダウン探索戦略を提案する。計算コストを顕著に削減する。スコア比較を段階的に実行することで、可能な離散化の小さなサブセットのみを評価することにより、近似的に最適な結果を達成するとともに、構造的情報を保持する。これにより、フリードマンとゴールズミットのMDLに基づく離散化手法の実用的応用が可能になる。

ABSTRACT

Bayesian networks are convenient graphical expressions for high dimensional probability distributions representing complex relationships between a large number of random variables. They have been employed extensively in areas such as bioinformatics, artificial intelligence, diagnosis, and risk management. The recovery of the structure of a network from data is of prime importance for the purposes of modeling, analysis, and prediction. Most recovery algorithms in the literature assume either discrete of continuous but Gaussian data. For general continuous data, discretization is usually employed but often destroys the very structure one is out to recover. Friedman and Goldszmidt suggest an approach based on the minimum description length principle that chooses a discretization which preserves the information in the original data set, however it is one which is difficult, if not impossible, to implement for even moderately sized networks. In this paper we provide an extremely efficient search strategy which allows one to use the Friedman and Goldszmidt discretization in practice.

研究の動機と目的

• 中規模のベイジアンネットワークにおけるフリードマンとゴールズミットのMDLベースの離散化の計算的に非現実的な課題に対処すること。
• すべての可能な分割を全検索せずに高品質な離散化を特定できる実用的な探索戦略を開発すること。
• 離散化の過程で元のデータの条件付き独立構造を損なわず、情報損失を回避すること。
• 連続データを含む実世界の応用においてMDLベースの離散化を活用できるようにすること。

提案手法

• 各連続変数の完全な離散化から出発し、段階的に閾値を削除するトップダウン探索戦略を提案する。
• 各閾値の削除が与える影響を評価するため、局所的記述長（DLlocal）をスコア関数として用いる。
• 完全な離散化のDLlocalスコアと、1つの閾値を1回ずつ削除した場合のスコアを比較し、情報のない分割を特定する。
• 他のノードが既に離散化されているものと仮定して、ノードごとに順次探索を実行し、繰り返し巡回的に処理する。
• モデルの複雑さとデータへの適合度のバランスを取るためにMDL原則を用い、記述長を最小化する離散化を好む。
• 情報量の著しい減少を伴う閾値のみを保持すべきであるという仮定に依存する。

実験結果

リサーチクエスチョン

• RQ1 連続的ベイジアンネットワーク変数の最適MDLベースの離散化を近似的に達成できる、計算的に効率的な探索戦略を開発できるか？
• RQ2 提案されたトップダウンアプローチは、ナイーブな離散化と比較して、元のデータの条件付き独立構造をよりよく保持できるか？
• RQ3 閾値を削除した際にMDLスコアが安定するのはどのような状況か？これは情報のない分割を示している。
• RQ4 標本のばらつきによる確率の近似がある場合でも、この手法は正しい離散化を信頼性高く特定できるか？
• RQ5 正確な評価と比較して、高速な探索戦略の正確性と実行時間の性能はいかがなものか？

主な発見

• 提案されたトップダウン探索戦略は、2m1−1通りの可能な分割から最適な離散化を特定するにあたり、m1 − 1回の比較で十分であり、計算コストを著しく削減する。
• 「爆発的」なデータ（真の離散化が既知）の理想的な状況下でも、MDLスコア機構は真の構造を正しく回復する。
• 実験的結果から、誤った閾値の削除（例：1と2の間、または5と6の間）は、顕著に異なるDLlocalスコアを生じさせることから、検出可能であることが示された。
• 情報のない閾値（条件付き分布に影響を与えないもの）は、削除後にスコアが上昇することを観察することで、この手法により正しく特定できる。
• 標本ノイズが存在しても、この手法は強い実験的性能を示しており、誤った削除はDLlocalスコアにおいて顕著に現れる。
• 生成グラフが完全には特定されていなくても、目的のノードが少なくとも1つの他のノードと接続されていれば、このアプローチは依然として有効である。