[논문 리뷰] Unsupervised Learning of Noisy-Or Bayesian Networks

Yonatan Halpern, David Sontag|arXiv (Cornell University)|2013. 09. 26.

Bayesian Modeling and Causal Inference참고 문헌 14인용 수 18

한 줄 요약

이 논문은 비용이 많이 드는 추론 단계를 피하기 위해, 숨겨진 변수가 있는 노이즈 오라 Bayesian 네트워크에서 비지도 파rameter 학습을 위한 다항식 시간, 방법의 모멘트 기반 알고리즘을 제안한다. 관측된 증상들만을 사용하여 QMR-DT 의료 진단 네트워크의 전체 파라미터 세트를 성공적으로 학습하며, 관측되지 않은 질병 상태가 존재함에도 불구하고 높은 정확도를 달성한다.

ABSTRACT

This paper considers the problem of learning the parameters in Bayesian networks of discrete variables with known structure and hidden variables. Previous approaches in these settings typically use expectation maximization; when the network has high treewidth, the required expectations might be approximated using Monte Carlo or variational methods. We show how to avoid inference altogether during learning by giving a polynomial-time algorithm based on the method-of-moments, building upon recent work on learning discrete-valued mixture models. In particular, we show how to learn the parameters for a family of bipartite noisy-or Bayesian networks. In our experimental results, we demonstrate an application of our algorithm to learning QMR-DT, a large Bayesian network used for medical diagnosis. We show that it is possible to fully learn the parameters of QMR-DT even when only the findings are observed in the training data (ground truth diseases unknown).

연구 동기 및 목표

• 숨겨진 변수와 높은 트리위드를 가진 이산 Bayesian 네트워크에서 파라미터 학습의 과제를 해결하기 위해.
• EM 또는 MCMC와 같은 비용이 많이 드는 추론 단계를 학습 과정에서 제거하기 위해.
• QMR-DT와 같은 대규모 네트워크에 적합한 확장 가능한 다항식 시간 알고리즘을 개발하기 위해.
• 질병 상태가 지도되지 않은 채로 증상(발현)만 관측 가능한 상황에서 전체 파라미터 학습을 가능하게 하기 위해.
• 최근의 이산 혼합 모델에 대한 모멘트 기반 학습 기술을 노이즈 오라 구조로 확장하기 위해.

제안 방법

• 이 방법은 고차 모멘트를 활용하여 모델 파라미터를 추정하는 방법의 모멘트 프레임워크를 적용한다.
• 증상이 질병에 조건부 독립이 되는 구조로 널리 쓰이는 의료 진단에서 흔한 이원적 노이즈 오라 네트워크에 초점을 맞춘다.
• 저차 모멘트(예: 1차 및 2차)에 대한 닫힌 형태의 표현식을 유도하여 파라미터 추정을 위한 방정식 시스템을 구성한다.
• 텐서 분해 기법을 사용하여 잠재 구조를 추출하고 노이즈 오라 모델의 조건부 확률 표를 추정한다.
• 훈련 데이터에서 계산된 경험적 모멘트에만 의존함으로써 반복적 추론을 피한다.
• 이 방법은 계산적으로 효율적이며 다항식 시간 내에 실행되어 QMR-DT와 같은 대규모 네트워크로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 숨겨진 질병 변수를 완전히 관측하지 않아도 노이즈 오라 Bayesian 네트워크의 파라미터를 학습할 수 있는가?
• RQ2 파라미터 학습 과정에서 MCMC나 변분 추론과 같은 비용이 많이 드는 추론 단계를 피할 수 있는가?
• RQ3 방법의 모멘트가 은닉 변수가 있는 구조적 모델, 예를 들어 노이즈 오라 네트워크에 효과적으로 적용될 수 있는가?
• RQ4 실제 세계의 고트리위드 네트워크, 예를 들어 QMR-DT에서 이 방법의 성능은 어떠한가?
• RQ5 질병 상태가 관측되지 않은 채 증상만 관측되는 상황에서 알고리즘이 정확한 파라미터 복원을 달성할 수 있는가?

주요 결과

• 제안된 방법은 지도되지 않은 질병 레이블이 없는 관측된 증상들만을 사용하여 QMR-DT 네트워크의 정확한 파라미터 추정을 달성한다.
• 알고리즘은 다항식 시간 내에 실행되어 EM 기반 방법이 계산적으로 금기인 대규모 네트워크로도 확장 가능하다.
• 실험 결과에 따르면 방법의 모멘트 접근법이 기존의 EM 기반 방법과 비교해 파라미터 복원 정확도에서 동등하거나 이를 초월한다.
• 이 방법은 QMR-DT의 전체 파라미터 세트, 즉 모든 증상-질병 관계의 조건부 확률 표를 성공적으로 학습한다.
• 이 방법은 관측되지 않은 질병 상태에 대해 강건성을 보이며, 부분 관측 가능성 하에서도 높은 정밀도를 유지한다.
• 이 방법은 의료 진단 환경에서 대규모 Bayesian 네트워크 학습에 있어 EM의 실질적인 대안이 될 수 있다.