[논문 리뷰] BayesFlow: Learning complex stochastic models with invertible neural networks

Stefan T. Radev, Ulf K. Mertens외 3명|arXiv (Cornell University)|2020. 03. 13.

Gaussian Processes and Bayesian Inference인용 수 10

한 줄 요약

BayesFlow는 유한한 신경망을 사용하여 시뮬레이션된 데이터에서 모델 파라미터의 사후 분포를 학습함으로써, 명시적 우도가 없이도 빠르고 스케일링 가능한 정확한 매개변수 추정을 가능하게 하는 글로벌 암시적 베이지안 추론 방법을 제안한다. 이 방법은 학습 가능한 요약 네트워크와 노멀라이징 플로우를 조합하여 데이터에서 매개변수로의 매핑을 구현하며, 생태학, 역학, 인지과학 분야의 비가역 모델에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Estimating the parameters of mathematical models is a common problem in almost all branches of science. However, this problem can prove notably difficult when processes and model descriptions become increasingly complex and an explicit likelihood function is not available. With this work, we propose a novel method for globally amortized Bayesian inference based on invertible neural networks which we call BayesFlow. The method uses simulation to learn a global estimator for the probabilistic mapping from observed data to underlying model parameters. A neural network pre-trained in this way can then, without additional training or optimization, infer full posteriors on arbitrary many real datasets involving the same model family. In addition, our method incorporates a summary network trained to embed the observed data into maximally informative summary statistics. Learning summary statistics from data makes the method applicable to modeling scenarios where standard inference techniques with hand-crafted summary statistics fail. We demonstrate the utility of BayesFlow on challenging intractable models from population dynamics, epidemiology, cognitive science and ecology. We argue that BayesFlow provides a general framework for building amortized Bayesian parameter estimation machines for any forward model from which data can be simulated.

연구 동기 및 목표

• 우도 함수가 비가역적이거나 이용할 수 없는 모델에서 베이지안 매개변수 추정의 과제를 해결하기 위해.
• 각 데이터셋에 대해 별도의 MCMC 또는 ABC 샘플링을 반복하지 않고도 작동하는 글로벌 암시적 추론 프레임워크를 개발하기 위해.
• 수동으로 만든 통계량보다 더 나은 성능을 내기 위해 신경망을 통해 정보가 풍부한 데이터 기반 요약 통계량을 학습하기 위해.
• 단일 사전 훈련된 모델을 사용하여 여러 데이터셋에 걸쳐 효율적이고 스케일링 가능한 GPU 가속 추론을 가능하게 하기 위해.
• 복잡한 정방향 모델을 가진 다양한 과학 분야에 적용 가능한 일반 목적의 프레임워크를 제공하기 위해.

제안 방법

• 유한한 신경망(Normalizing Flows)을 사용하여 시뮬레이션된 데이터 쌍 (x, θ) 에서 공동 사후 분포 p(θ|x) 를 학습한다.
• 고차원 데이터 x 를 저차원의 정보가 풍부한 요약 통계량 s(x) 로 매핑하는 학습 가능한 요약 네트워크를 도입하며, 추론에 필요한 정보를 유지한다.
• 학습된 사후 분포 하에서 관측된 데이터의 우도를 최대화하는 변분 추론 목적함수를 사용하여 전체 BayesFlow 아키텍처를 엔드 투 엔드로 훈련한다.
• 노멀라이징 플로우 기반의 추론 네트워크를 사용하여 사후 분포 p(θ|x) 를 사전 분포 p(z) 에 대한 변환으로 모델링하며, z ~ N(0, I) 이다. 이는 정확한 밀도 추정과 샘플링을 가능하게 한다.
• 신경망의 가역성을 활용하여 사후 추정과 우도 자유 시뮬레이션을 모두 수행하며, 이중 방향 모델링을 가능하게 한다.
• 정방향 모델 g(θ, ξ) 를 통해 기울기를 역전파할 수 있는 미분 가능한 시뮬레이션 파이프라인을 사용하여 요약 네트워크와 추론 네트워크를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 유한한 신경망이 표준 ABC 방법이 실패하는 우도 자유 설정에서 글로벌 암시적 베이지안 추론을 가능하게 할 수 있는가?
• RQ2 학습 가능한 요약 네트워크가 복잡한 고차원 데이터 환경에서 수동으로 만든 통계량보다 성능을 뛰어나게 할 수 있는가?
• RQ3 BayesFlow는 재훈련 없이도 동일한 모델 가족에서 여러 데이터셋에 대해 얼마나 잘 일반화되는가?
• RQ4 BayesFlow는 인구 역학, 역학, 인지과학 분야의 실제 비가역 모델에서 얼마나 잘 성능을 내는가?
• RQ5 네트워크 아키텍처의 깊이와 설계가 사후 분포 캘리브레이션과 추론 정확도에 어떤 영향을 미치는가?

주요 결과

• BayesFlow는 인구 역학, 역학, 인지과학, 생태학 분야의 복잡한 비가역 모델에서 정확한 사후 추정을 달성하며, 표준 ABC 및 신경 밀도 추정 기반 기준보다 뛰어난 성능을 보였다.
• 이 방법은 글로벌 암시적 추론을 가능하게 하며, 한 번 훈련된 후에는 동일한 모델 가족의 새로운 데이터셋에 대해 추가 훈련 없이도 전체 사후 분포를 추정할 수 있다.
• 학습된 요약 통계량은 특히 고차원 또는 복잡한 데이터 환경에서 수동으로 만든 통계량보다 추론 성능을 크게 향상시켰다.
• 이 방법은 매우 병렬 처리가 가능하며 GPU 가속을 통해 기존의 사례 기반 방법보다 수개의 주기 빠르게 추론이 가능하다.
• 적절히 훈련된 경우 이론적으로 수렴이 완벽할 경우 사후 추정치가 캘리브레이션되어 있으며, 이는 이론적 보장이 있다.
• 실험적 검증 결과, 기본 하이퍼파rameter 설정과 중간 정도의 네트워크 깊이(5–10개의 커파링 레이어)가 다양한 모델에서 강력한 성능을 내며, 비교적 단순한 아키텍처에서도 효과를 발휘했다.