[論文レビュー] Structure Learning from Related Data Sets with a Hierarchical Bayesian Score

Laura Azzimonti, Giorgio Corani+1 more|arXiv (Cornell University)|Jan 1, 2020

Bayesian Modeling and Causal Inference参考文献 20被引用数 2

ひとこと要約

本稿では、複数の関連する非同一データセットからベイジアンネットワーク構造を学習するための新規ベイジアンハイアラルキカルディリクレ（BHD）スコアを提案する。階層的事前分布を活用してデータセット間で情報共有を行う一方で構造的差異を考慮することで、BHDは構造的ハミング距離で測定される再構築精度を、特に非均質な設定において標準的なBDeuスコアよりも向上させ、よりスパースで解釈性の高いネットワーク（誤検出弧の少ないもの）を生成する。

ABSTRACT

Score functions for learning the structure of Bayesian networks in the literature assume that data are a homogeneous set of observations; whereas it is often the case that they comprise different related, but not homogeneous, data sets collected in different ways. In this paper we propose a new Bayesian Dirichlet score, which we call Bayesian Hierarchical Dirichlet (BHD). The proposed score is based on a hierarchical model that pools information across data sets to learn a single encompassing network structure, while taking into account the differences in their probabilistic structures. We derive a closed-form expression for BHD using a variational approximation of the marginal likelihood and we study its performance using simulated data. We find that, when data comprise multiple related data sets, BHD outperforms the Bayesian Dirichlet equivalent uniform (BDeu) score in terms of reconstruction accuracy as measured by the Structural Hamming distance, and that it is as accurate as BDeu when data are homogeneous. Moreover, the estimated networks are sparser and therefore more interpretable than those obtained with BDeu, thanks to a lower number of false positive arcs.

研究の動機と目的

• 既存のベイジアンネットワーク構造学習手法が同質のデータを仮定しているという制限に対処すること。これは実際の状況ではしばしば現実的ではない。
• 複数の関連的だが同一でないデータセットから1つのネットワーク構造を効果的に学習できるスコア関数を開発すること。
• 階層的モデリングアプローチを通じて、共有される構造とデータセット固有の確率的構造を統合すること。
• 標準的なスコア（例：BDeu）と比較して誤検出弧を減らすことで、ネットワークの解釈性を向上させること。
• 再構築精度と構造的スパarsityの観点から、提案手法の性能をBDeuと比較して評価すること。

提案手法

• 複数のデータセットにわたる共有パラメータとデータ固有パラメータをモデル化する階層的事前分布に基づくベイジアンハイアラルキカルディリクレ（BHD）スコアを提案する。
• 変分近似を用いて周辺尤度の閉形式表現を導出し、BHDスコアの効率的計算を可能にする。
• 条件付き確率分布を階層的ディリクレ事前分布でモデル化し、情報共有を可能にすると同時にデータセット固有の特徴を保持する。
• スコアベースの構造学習フレームワーク内でBHDスコアを適用し、すべてのデータセットにわたる最適なネットワーク構造を同定する。
• 計算が困難な周辺尤度を扱うために変分近似を用い、複数のデータセットへのスケーラビリティを実現する。
• 真の構造との比較において、学習された構造の正確性を評価する指標として構造的ハミング距離を用いる。

実験結果

リサーチクエスチョン

• RQ1 複数の関連的だが非同一のデータセットから統一されたベイジアンネットワーク構造を学習できるベイジアンスコアを設計できるか？
• RQ2 データが非均質な場合、BHDスコアはBDeuと比較して再構築精度でどのように異なるか？
• RQ3 複数のデータセットが存在する状況で、BHDスコアはBDeuと比較してよりスパースで解釈性の高いネットワークを生成するか？
• RQ4 階層的モデリングアプローチは、データセット間での情報共有を通じて構造学習をどの程度向上させるか？
• RQ5 BHDスコアはデータの非均質性に対してロバストであり、同質な設定でも高い精度を維持できるか？

主な発見

• データが複数の関連的だが非同一のデータセットから構成される場合、BHDスコアは構造的ハミング距離の観点でBDeuスコアを顕著に上回る。
• データが同質な場合、BHDスコアはBDeuと同等の精度を維持するため、データタイプにかかわらずロバストであることが示された。
• BHDで学習されたネットワークは、BDeuで学習されたものよりもスパースであることが判明し、誤検出弧の数が少ないことが示された。
• 誤検出弧の削減により解釈性が向上し、BHDは複雑で非均質なデータソースを有する現実世界のデータに特に適している。
• 変分近似によりBHDスコアの計算が効率的に行えるようになり、複数のデータセットへのスケーラビリティが実現された。
• 階層的事前分布は、データセット間での情報共有とデータ固有の構造的特徴の保持の両方を効果的にバランスさせた。