[論文レビュー] Recognition Networks for Approximate Inference in BN20 Networks

Quaid Morris|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用数 15

ひとこと要約

本稿では、ベイジアンネットワークにおける事後確率の周辺分布を予測するように訓練された多層パーセプトロンである認識ネットワークを導入し、4,000個以上の観測可能ノードと600個の隠れノードを有する大規模で複雑なBN20ネットワークにおいて、頑健な近似推論を実証している。単純で誤った選択バイアスのモデルを組み込んでも、認識ネットワークは最先端の推論アルゴリズムを上回り、バイアスのある観測条件下でも優れた一般化性能を示している。

ABSTRACT

We propose using recognition networks for approximate inference inBayesian networks (BNs). A recognition network is a multilayerperception (MLP) trained to predict posterior marginals given observedevidence in a particular BN. The input to the MLP is a vector of thestates of the evidential nodes. The activity of an output unit isinterpreted as a prediction of the posterior marginal of thecorresponding variable. The MLP is trained using samples generated fromthe corresponding BN.We evaluate a recognition network that was trained to do inference ina large Bayesian network, similar in structure and complexity to theQuick Medical Reference, Decision Theoretic (QMR-DT). Our networkis a binary, two-layer, noisy-OR network containing over 4000 potentially observable nodes and over 600 unobservable, hidden nodes. Inreal medical diagnosis, most observables are unavailable, and there isa complex and unknown bias that selects which ones are provided. Weincorporate a very basic type of selection bias in our network: a knownpreference that available observables are positive rather than negative.Even this simple bias has a significant effect on the posterior. We compare the performance of our recognition network tostate-of-the-art approximate inference algorithms on a large set oftest cases. In order to evaluate the effect of our simplistic modelof the selection bias, we evaluate algorithms using a variety ofincorrectly modeled observation biases. Recognition networks performwell using both correct and incorrect observation biases.

研究の動機と目的

• 大規模なベイジアンネットワークにおけるスケーラブルで微分可能な近似推論手法の開発。
• 医療診断シナリオにおいて、通常は陽性の観測のみが入手可能であるという状況下で、選択バイアスをモデル化し、その影響を軽減すること。
• 深層学習に基づく認識ネットワークが、正確な推論を用いずに高精度な事後確率推定を達成できるかの評価。
• さまざまなバイアス仮定のもとで、認識ネットワークと最先端の近似推論アルゴリズムを比較すること。

提案手法

• 多層パーセプトロン（MLP）を、証拠ノードの状態（証拠ノードの状態）からターゲット変数の事後確率の周辺分布を予測するように訓練する。
• 合成データをBN20ネットワークから生成し、モンテカルロサンプリングを用いて真の事後確率を近似することで、MLPを学習する。
• ネットワーク構造は、QMR-DTのような現実の医療診断ネットワークの複雑さを反映するように設計された、2層のバイナリMLPで、ノイズありOR構造を採用している。
• 観測変数が陽性である可能性が高くなるという仮定により、簡素化された選択バイアスをモデル化している。これは、現実の診断データ収集プロセスを反映している。
• 性能は、テストケースにおける予測事後確率と、正確または近似推論により計算された真値の事後確率を比較することで評価する。

実験結果

リサーチクエスチョン

• RQ1 合成データで学習された認識ネットワークは、大規模なベイジアンネットワークにおいても、高精度な事後確率推定を達成できるか？
• RQ2 具体的には、陽性症状の観測が優遇されるという選択バイアスの存在が、事後推論にどのように影響するか？
• RQ3 選択バイアスのモデルが誤っている場合でも、認識ネットワークは性能を維持できるか？
• RQ4 認識ネットワークは、精度と頑健性の観点から、最先端の近似推論アルゴリズムと比較してどうなるか？

主な発見

• 認識ネットワークは、背後にある選択バイアスモデルが誤っていても、事後確率の周辺分布の予測において高い精度を達成した。
• ネットワークは広範なテストケースにおいて強固な性能を維持し、多くの状況で従来の近似推論アルゴリズムを上回った。
• 選択バイアスが事後分布に顕著な影響を与えることが判明し、認識ネットワークは明示的なモデル化なしにこのバイアスを効果的に捉えていた。
• 認識ネットワークは、観測バイアスのモデル不適合に対しても頑健であることが示され、実世界の診断システムにおける実用的価値を示唆している。