[논문 리뷰] Neural Empirical Bayes: Source Distribution Estimation and its Applications to Simulation-Based Inference

Maxime Vandegar, M. Kagan외 2명|arXiv (Cornell University)|2020. 11. 11.

Model Reduction and Neural Networks참고 문헌 43인용 수 10

한 줄 요약

이 논문은 likelihood-free 추론 환경에서 노이즈가 섞인 관측치로부터 원천 분포를 학습하기 위해 신경 밀도 추정기를 사용하는 Neural Empirical Bayes(NEB)를 제안한다. 몬테 카를로 적분을 통한 로그-주변 가능도 최대화 방식으로, NEB는 실제 원천 분포를 성공적으로 복원하고 정확한 사후 추론을 가능하게 하였다. 이는 시뮬레이션 및 콜라이더 물리학 벤치마크에서 입증되었다.

ABSTRACT

We revisit empirical Bayes in the absence of a tractable likelihood function, as is typical in scientific domains relying on computer simulations. We investigate how the empirical Bayesian can make use of neural density estimators first to use all noise-corrupted observations to estimate a prior or source distribution over uncorrupted samples, and then to perform single-observation posterior inference using the fitted source distribution. We propose an approach based on the direct maximization of the log-marginal likelihood of the observations, examining both biased and de-biased estimators, and comparing to variational approaches. We find that, up to symmetries, a neural empirical Bayes approach recovers ground truth source distributions. With the learned source distribution in hand, we show the applicability to likelihood-free inference and examine the quality of the resulting posterior estimates. Finally, we demonstrate the applicability of Neural Empirical Bayes on an inverse problem from collider physics.

연구 동기 및 목표

• 가능도 함수가 비가역적이며, 유일한 데이터로는 시뮬레이션된 원천-관측 쌍의 고정된 데이터셋 뿐인 과학적 분야에서 알려지지 않은 원천 분포를 추정하는 문제에 대응하기 위해.
• 반복적인 시뮬레이터 호출을 피할 수 있는 확장성 있고 비순차적인 원천 분포 추정 방법을 개발하기 위해, 특히 비용이 많이 드는 시뮬레이션에 적합한 방법을 개발하기 위해.
• 사전에 시뮬레이션된 데이터로부터 충실한 원천 분포 및 가능도 모델을 학습함으로써, 후속 likelihood-free 사후 추론을 가능하게 하기 위해.
• 편향된 및 편향 보정된 로그-주변 가능도 추정기의 성능을 비교하여 진정한 원천 분포 복원 능력을 평가하기 위해.
• 제트 성질을 포함하는 콜라이더 물리학에서의 실제 응용 문제에 대해 방법의 적용 가능성을 보여주기 위해.

제안 방법

• 사전에 생성된 $ ({\mathbf{x}}_j, {\mathbf{y}}_j) $ 쌍의 데이터셋에서 신경 밀도 추정기를 사용하여 가능도 $ p({\mathbf{y}}|{\mathbf{x}}) $ 를 모델링한다.
• 원천 분포 $ q_\theta({\mathbf{x}}) $ 는 커플링 레이어를 갖는 정규화 플로우로 파arameter화되며, 로그-주변 가능도 $ \log q_\theta({\mathbf{Y}}) = \sum_{i=1}^N \log \int p({\mathbf{y}}_i|{\mathbf{x}}) q_\theta({\mathbf{x}}) d{\mathbf{x}} $ 의 기반으로 기울기 기반 최적화를 통해 학습된다.
• 비가역 적분을 근사하기 위해 $ M $ 개의 샘플을 사용한 몬테 카를로 적분이 사용되며, 학습은 학습률 $ 10^{-4} $ 를 사용한 Adam 최적화기를 통해 수행된다.
• 세 가지 추정기(편향된 추정기 $ \mathcal{L}_{1024}^\text{IW} $, 편향 보정된 추정기, 변분 ELBO 기반 추정기)가 비교된다.
• 정규화 플로우의 아키텍처를 통해 인덕티브 바이어스를 활용하여, 불안정한 역문제에서 일반화 및 안정성 향상을 도모한다.
• 원천 및 가능도 분포를 학습한 후, 새로운 관측치에 대한 사후 추론은 MCMC 또는 기타 샘플링 방법을 사용하여 수행된다.

실험 결과

연구 질문

• RQ1 고정된 시뮬레이션 쌍 데이터셋만 제공되는 likelihood-free 환경에서 신경 밀도 추정기가 진정한 원천 분포를 효과적으로 복원할 수 있는가?
• RQ2 편향된 및 편향 보정된 로그-주변 가능도 추정기 간의 원천 분포 복원 정확도는 어떻게 비교되는가?
• RQ3 고차원적이고 불안정한 역문제에서 아키텍처 기반 인덕티브 바이어스는 성능 향상에 얼마나 기여하는가?
• RQ4 학습된 원천 분포를 통해 시뮬레이터에 접근할 수 없더라도 새로운 관측치에 대한 잘 校정된 사후 추론이 가능한가?
• RQ5 NEB는 제트 성질을 포함하는 실제 콜라이더 물리학 역문제에서 어떻게 성능을 발휘하는가?

주요 결과

• NEB는 대칭성까지 고려할 때 진정한 원천 분포를 성공적으로 복원하였으며, 토이 문제에서 $ \mathcal{L}_{1024}^\text{IW} $ 추정기의 $ \mathbf{x} $-공간에서 AUC가 $ 0.99_{\pm 0.02} $ 로 확인되었다.
• $ \mathcal{L}_{1024}^\text{IW} $ 추정기는 세 가지 추정기 중에서 가장 우수한 성능을 보였으며, $ \mathbf{x} $-공간에서 AUC가 $ 0.57_{\pm 0.05} $ 로 나타나 강력한 원천 분포 복원 능력을 보였다.
• 콜라이더 물리학 데이터셋에서 학습된 원천 분포는 진짜 시뮬레이션된 분포와 매우 유사했으며, $ \mathbf{x} $-공간에서 AUC가 $ 0.99_{\pm 0.02} $ 로 나타났다.
• NEB를 통해 학습된 사후 분포는 잘 校정되어 있었으며, 예측된 분위수에 포함된 진짜 원천 데이터 비율을 통해 신뢰할 수 있는 불확실성 정량화를 보여주었다.
• 이 방법은 순차적 시뮬레이터 호출이 필요로 하지 않아 계산 비용이 많이 드는 시뮬레이션에 적합하였다.
• 정규화 플로우 아키텍처를 통한 인덕티브 바이어스의 사용은 원천 분포 추정에서 일반화 및 안정성 향상에 크게 기여하였다.