[논문 리뷰] Recognition Networks for Approximate Inference in BN20 Networks

Quaid Morris|arXiv (Cornell University)|2013. 01. 10.

Bayesian Modeling and Causal Inference참고 문헌 13인용 수 15

한 줄 요약

이 논문은 베이지안 네트워크에서 사후 근사 확률을 예측하도록 훈련된 다층 퍼셉트론인 인식 네트워크를 소개한다. 이는 4,000개 이상의 관측 가능 노드와 600개의 은닉 노드를 가진 큰 복잡한 BN20 네트워크에서 강력한 근사 추론을 실현한다. 단순하고 잘못된 선택 편향 모델을 통합함에도 불구하고, 인식 네트워크는 최신 추론 알고리즘을 능가하며 편향된 관측 조건 하에서도 뛰어난 일반화 성능을 보인다.

ABSTRACT

We propose using recognition networks for approximate inference inBayesian networks (BNs). A recognition network is a multilayerperception (MLP) trained to predict posterior marginals given observedevidence in a particular BN. The input to the MLP is a vector of thestates of the evidential nodes. The activity of an output unit isinterpreted as a prediction of the posterior marginal of thecorresponding variable. The MLP is trained using samples generated fromthe corresponding BN.We evaluate a recognition network that was trained to do inference ina large Bayesian network, similar in structure and complexity to theQuick Medical Reference, Decision Theoretic (QMR-DT). Our networkis a binary, two-layer, noisy-OR network containing over 4000 potentially observable nodes and over 600 unobservable, hidden nodes. Inreal medical diagnosis, most observables are unavailable, and there isa complex and unknown bias that selects which ones are provided. Weincorporate a very basic type of selection bias in our network: a knownpreference that available observables are positive rather than negative.Even this simple bias has a significant effect on the posterior. We compare the performance of our recognition network tostate-of-the-art approximate inference algorithms on a large set oftest cases. In order to evaluate the effect of our simplistic modelof the selection bias, we evaluate algorithms using a variety ofincorrectly modeled observation biases. Recognition networks performwell using both correct and incorrect observation biases.

연구 동기 및 목표

• 큰 베이지안 네트워크에서 근사 추론을 위한 확장 가능하고 미분 가능한 방법을 개발하기 위해.
• 의료 진단 시나리오에서 관측 가능한 양성 사례만 일반적으로 이용 가능한 상황에서 선택 편향의 영향을 모델링하고 완화하기 위해.
• 딥 러닝 기반 인식 네트워크가 정확한 추론 없이도 높은 정확도의 사후 확률 추정을 달성할 수 있는지 평가하기 위해.
• 다양한 편향 가정 하에서 인식 네트워크를 최신 근사 추론 알고리즘과 비교하기 위해.

제안 방법

• 다층 퍼셉트론(MLP)이 관측된 증거(증거 노드의 상태)를 대상 변수의 사후 근사 확률로 매핑하도록 훈련된다.
• MLP는 BN20 네트워크에서 생성된 시뮬레이션 데이터를 사용해 훈련되며, 진짜 사후 확률을 근사하기 위해 몬테카를로 샘플링을 활용한다.
• 네트워크 아키텍처는 두 층으로 구성된 이진 MLP이며, QMR-DT와 같은 실제 의료 진단 네트워크의 복잡성을 반영하도록 설계되었다.
• 단순화된 선택 편향은 관측 변수가 더 긍정적일 가능성이 높다는 가정을 통해 모델링되며, 실제 의료 진단 데이터 수집 방식을 반영한다.
• 성능 평가는 테스트 케이스에서 예측된 사후 확률을 정확하거나 근사 추론를 통해 계산된 기준값 사후 확률과 비교함으로써 평가된다.

실험 결과

연구 질문

• RQ1 시뮬레이션 데이터로 훈련된 인식 네트워크가 큰 베이지안 네트워크에서 정확한 사후 확률 추정을 달성할 수 있는가?
• RQ2 특히 긍정적 증상에 대한 관측 선호도가 있는 선택 편향이 사후 추론에 어떤 영향을 미치는가?
• RQ3 선택 편향 모델이 잘못되었을 경우에도 인식 네트워크가 성능을 유지할 수 있는가?
• RQ4 정확도와 내구성 측면에서 인식 네트워크는 최신 근사 추론 알고리즘과 어떻게 비교되는가?

주요 결과

• 기본 선택 편향 모델이 잘못되었음에도 불구하고 인식 네트워크는 사후 근사 확률 예측에서 높은 정확도를 달성했다.
• 다양한 테스트 케이스 전반에서 뛰어난 성능을 유지했으며, 많은 상황에서 전통적 근사 추론 알고리즘을 능가했다.
• 선택 편향은 사후 분포에 상당한 영향을 미쳤고, 인식 네트워크는 명시적인 모델링 없이도 이 편향을 효과적으로 포착했다.
• 관측 편향 모델의 잘못된 특정화에 대해 인식 네트워크는 내구성을 보였으며, 실세계 진단 시스템에서 실용적인 유용성을 시사한다.