[논문 리뷰] A Universal Marginalizer for Amortized Inference in Generative Models

Laura Douglas, Iliyan Zarov외 7명|arXiv (Cornell University)|2017. 11. 02.

Bayesian Modeling and Causal Inference참고 문헌 10인용 수 12

한 줄 요약

이 논문은 임의의 증거 집합에 대해 베이지안 네트워크의 모든 조건부 주변확률분포를 근사하는 단일 신경망인 Universal Marginalizer(UM)를 제안한다. 조상 샘플링과 학습 가능한 마스킹 메커니즘을 결합하고 다양한 관측 패턴으로 훈련시킴으로써, UM은 번복 추론을 가능하게 하고 하이브리드 제안을 통해 중요도 샘플링의 효율성을 크게 향상시켜 필요한 샘플 수를 최대 8배 감소시키면서도 높은 정확도를 유지한다.

ABSTRACT

We consider the problem of inference in a causal generative model where the set of available observations differs between data instances. We show how combining samples drawn from the graphical model with an appropriate masking function makes it possible to train a single neural network to approximate all the corresponding conditional marginal distributions and thus amortize the cost of inference. We further demonstrate that the efficiency of importance sampling may be improved by basing proposals on the output of the neural network. We also outline how the same network can be used to generate samples from an approximate joint posterior via a chain decomposition of the graph.

연구 동기 및 목표

• 복잡한 인과적 생성 모델에서 다양한 증거 집합을 가질 경우 발생하는 높은 계산 비용 문제를 해결하기 위해.
• 임의의 관측값에 대해 베이지안 네트워크 내 모든 노드의 조건부 주변확률분포를 근사할 수 있는 단일 신경망을 개발하기 위해.
• UM의 출력을 제안 분포로 사용하여 중요도 샘플링의 효율성을 향상시키기 위해.
• 그래픽 모델의 체인 분해를 통해 UM을 활용한 공동 사후분포 샘플링을 가능하게 하기 위해.
• 단일 UM이 여러 전문화된 모델을 대체할 수 있음을 보여주어 추론 오버헤드를 감소시키기 위해.

제안 방법

• 베이지안 네트워크의 모든 노드 Xi에 대해, 관측된 노드 XO의 부분집합이 주어졌을 때 P(Xi|XO= xO)의 주변사후분포를 예측할 수 있도록 피드포워드 신경망을 훈련한다.
• 훈련 중 확률적 마스킹을 사용하여 각 노드가 균일 확률로 독립적으로 마스킹되도록 하여 임의의 관측 패턴을 시뮬레이션한다.
• 관측된 노드와 관측되지 않은 노드를 각각 2비트 또는 33비트 표현으로 인코딩하며, 관측되지 않은 노드의 경우 사전 확률을 포함한다.
• 다중 레이블 분류 설정에서 이진 교차 엔트로피 손실을 사용하여 노드의 확률을 예측하도록 네트워크를 훈련한다.
• 혼합 비율 β를 사용하여 조상 샘플링과 UM이 예측한 주변확률을 혼합하여 하이브리드 중요도 샘플링 제안을 구성한다.
• UM의 출력을 활용하여 그래프의 위상순서 기반 체인 분해에서 순차적 샘플링을 안내함으로써 제안의 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 임의의 관측 변수 부분집합에 대해 단일 신경망이 베이지안 네트워크의 모든 조건부 주변확률분포를 근사할 수 있는가?
• RQ2 중요도 샘플링에서 UM의 출력을 제안 분포로 사용할 경우, 기존 표준 방법 대비 샘플링 효율성이 향상되는가?
• RQ3 UM의 성능는 다양한 네트워크 아키텍처와 입력 인코딩에 따라 어떻게 달라지는가?
• RQ4 UM을 사용하여 그래픽 모델의 체인 분해를 통해 공동 사후분포 샘플을 생성할 수 있는가?
• RQ5 중요도 샘플링에서 조상 샘플링과 UM 기반 제안 간 최적의 혼합 전략은 무엇인가?

주요 결과

• 1층 신경망 중 가장 큰 모델(2048개 유닛)이 가장 우수한 성능을 보였으며, 33비트 표현과 사전 확률을 포함한 경우 평균 절대오차는 0.0060, 최대 절대오차는 0.3223을 기록했다.
• 혼합 비율 β = 0.25인 하이브리드 중요도 샘플링은 250,000개의 샘플로 진짜 주변확률과 추정 주변확률 간 상관계수 95%를 달성했으며, 표준 중요도 샘플링(β = 0)은 200만 개 샘플이 필요해 92%에 도달했다.
• 하이브리드 제안 방법는 200만 개 샘플로 96% 상관계수를 달성하여 더 높은 정확도와 동시에 더 낮은 계산 비용을 입증했다.
• 사전 확률을 포함한 33비트 표현은 2비트 표현보다 평균 및 최대 오차 지표에서 약간 뛰어난 성능을 보였다.
• UM 기반 하이브리드 제안은 필요한 샘플 수를 최대 8배 감소시켰으며, 상관계수와 유효 샘플 수(Essential Sample Size, ESS)는 유지 또는 향상시켰다.
• 이 방법은 단일 모델을 사용해 모든 가능한 증거 집합에 대해 번복 추론을 가능하게 하여, 각 관측 패턴마다 별도의 모델이 필요 없도록 했다.