[論文レビュー] Unsupervised Learning of Noisy-Or Bayesian Networks

Yonatan Halpern, David Sontag|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 14被引用数 18

ひとこと要約

本稿では、推論ステップを回避する多項式時間の、モーメント法に基づくアルゴリズムを提案する。この手法は、隠れ変数を含むノイズありORベイジアンネットワークにおける教師なしパラメータ学習を実現し、観測された兆候のみを用いてQMR-DT医療診断ネットワークの全パラメータを高精度に学習する。

ABSTRACT

This paper considers the problem of learning the parameters in Bayesian networks of discrete variables with known structure and hidden variables. Previous approaches in these settings typically use expectation maximization; when the network has high treewidth, the required expectations might be approximated using Monte Carlo or variational methods. We show how to avoid inference altogether during learning by giving a polynomial-time algorithm based on the method-of-moments, building upon recent work on learning discrete-valued mixture models. In particular, we show how to learn the parameters for a family of bipartite noisy-or Bayesian networks. In our experimental results, we demonstrate an application of our algorithm to learning QMR-DT, a large Bayesian network used for medical diagnosis. We show that it is possible to fully learn the parameters of QMR-DT even when only the findings are observed in the training data (ground truth diseases unknown).

研究の動機と目的

• 隠れ変数を含み、木幅が大きい離散ベイジアンネットワークにおけるパラメータ学習の課題に取り組む。
• EM や MCMC のような高コストな推論ステップを学習段階で必要としない。
• QMR-DT のような大規模ネットワークに適したスケーラブルで多項式時間のアルゴリズムを開発する。
• 病気状態の真値ラベルが得られない状況でも、兆候（所見）のみを観測した状態で全パラメータを学習可能にする。
• 離散混合モデルのモーメントベース学習分野における最近の進展を、ノイズありOR構造に拡張する。

提案手法

• 本手法はモーメント法フレームワークを採用し、観測データの高次モーメントを活用してモデルパラメータを推定する。
• 症状が病気の下で条件付き独立であるという構造を持つ二部グラフ型ノイズありORネットワークに焦点を当てる。これは医療診断分野で一般的な構造である。
• 低次のモーメント（例：1次および2次）の閉形式表現を導出し、パラメータ推定のための連立式を構築する。
• テンソル分解技術を用いて潜在構造を抽出し、ノイズありORモデルの条件付き確率表を推定する。
• 訓練データから計算された経験的モーメントにのみ依存するため、反復的推論を回避する。
• 計算が効率的で、多項式時間で実行可能であり、QMR-DT のような大規模ネットワークにもスケーラブルである。

実験結果

リサーチクエスチョン

• RQ1 隠れ病気変数の完全な観測ができない状況でも、ノイズありORベイジアンネットワークのパラメータを学習できるか？
• RQ2 MCMC や変分推論のような高コストな推論ステップをパラメータ学習段階で回避できるか？
• RQ3 モーメント法は、隠れ変数を含むノイズありORネットワークのような構造的モデルに効果的に適用可能か？
• RQ4 本手法は、QMR-DT のような現実世界の高木幅ネットワークにおいてどれほど高い性能を示すか？
• RQ5 病気状態が観測不能な状況でも、兆候のみを観測した場合に、パラメータ回復が正確に行えるか？

主な発見

• 提案手法は、真値の病気ラベルが得られない状況でも、観測された兆候のみを用いてQMR-DTネットワークの正確なパラメータ推定を達成した。
• アルゴリズムは多項式時間で実行可能であり、EM法が計算的に非現実的となるような大規模ネットワークに対してもスケーラブルである。
• 実験結果から、モーメント法アプローチは従来のEMベース手法と同等またはそれ以上のパラメータ回復精度を達成している。
• 本手法はQMR-DTの全パラメータセット、すなわちすべての兆候-病気関係の条件付き確率表を正常に学習した。
• 未観測の病気状態に対しても、本手法は高い忠実性を維持し、部分的観測下でもパラメータ推定の精度を保った。
• 本手法は、医療診断の文脈における大規模ベイジアンネットワーク学習において、EM法の実用的代替手段を提供する。