[논문 리뷰] GATSBI: Generative Adversarial Training for Simulation-Based Inference

Ramesh Poornima, Jan-Matthis Lueckmann외 5명|arXiv (Cornell University)|2022. 03. 12.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

GATSBI는 유한한 가능도를 필요로 하지 않는 암묵적 사후 분포를 학습하는 시뮬레이션 기반 추론(SBI)을 위한 생성적 적대적 훈련 프레임워크를 도입한다. 변분 추론을 적대적 설정으로 재구성함으로써 GATSBI는 암시적 사전 분포를 지원하며, 고차원의 사후 추정을 암시적, 고속으로 가능하게 하고, 얕은 수류 역학 및 이미지 노이즈 제거 시뮬레이터와 같은 복잡한 모델에서 잘 校정된 추론을 달성한다.

ABSTRACT

Simulation-based inference (SBI) refers to statistical inference on stochastic models for which we can generate samples, but not compute likelihoods. Like SBI algorithms, generative adversarial networks (GANs) do not require explicit likelihoods. We study the relationship between SBI and GANs, and introduce GATSBI, an adversarial approach to SBI. GATSBI reformulates the variational objective in an adversarial setting to learn implicit posterior distributions. Inference with GATSBI is amortised across observations, works in high-dimensional posterior spaces and supports implicit priors. We evaluate GATSBI on two SBI benchmark problems and on two high-dimensional simulators. On a model for wave propagation on the surface of a shallow water body, we show that GATSBI can return well-calibrated posterior estimates even in high dimensions. On a model of camera optics, it infers a high-dimensional posterior given an implicit prior, and performs better than a state-of-the-art SBI approach. We also show how GATSBI can be extended to perform sequential posterior estimation to focus on individual observations. Overall, GATSBI opens up opportunities for leveraging advances in GANs to perform Bayesian inference on high-dimensional simulation-based models.

연구 동기 및 목표

• 가능도가 추적할 수 없는 고차원 사후 추론 문제를 해결한다.
• 생성적 적대적 네트워크(GAN)의 강점을 활용하여 명시적 밀도 평가 없이 가능도 없는 추론을 수행한다.
• 관측치 간에 암시적 추론을 가능하게 하여 고차원 매개변수 공간에서의 효율성을 향상시킨다.
• 암시적 사전 분포를 지원하여 분포가 해석적으로 기술되지 않은 상황에서도 추론이 가능하도록 한다.
• 개별 관측치에 대한 추론을 개선하기 위해 순차적 사후 추정으로 프레임워크를 확장한다.

제안 방법

• 조건부 GAN 아키텍처를 사용하여 SBI를 적대적 변분 추론 문제로 재구성한다.
• 관측된 데이터에서 사후 표본으로 매핑하는 생성기 훈련을 통해 암묵적 사후 분포 $ q_\phi(\theta|x) $ 를 학습한다.
• 관측 데이터 $ x $ 를 조건으로 하여 실제 매개변수 $ \theta $ 와 생성된 사후 표본 $ \theta' $ 를 구분하는 판별기 사용.
• GAN 구성 요소의 훈련을 안정화하기 위해 스펙트럼 정규화와 기울기 클리핑을 적용한다.
• 암시적 추론을 통합하여 새로운 관측치에 대해 재훈련 없이도 빠른 사후 표본 추출이 가능하게 한다.
• 반복적 개선을 통해 특정 관측치에 대한 추론을 향상시킴으로써 프레임워크를 순차적 사후 추정으로 확장한다.

실험 결과

연구 질문

• RQ1 적대적 훈련이 고차원 매개변수 공간에서 시뮬레이션 기반 추론에 효과적으로 적용될 수 있는가?
• RQ2 사전 분포가 암묵적으로 정의된 경우에도 GATSBI가 잘 校정된 사후 분포를 학습할 수 있는가?
• RQ3 고차원 환경에서 NPE와 같은 최첨단 SBI 방법과 비교해 GATSBI는 어떤 성능을 보이는가?
• RQ4 GATSBI는 개별 관측치에 대한 추론을 개선하기 위해 순차적 사후 추정을 지원할 수 있는가?
• RQ5 GATSBI는 유체 역학 및 이미지 노이즈 제거와 같은 복잡한 고차원 시뮬레이터에서 校정성과 성능을 유지하는가?

주요 결과

• GATSBI는 100차원 매개변수 공간을 가진 얕은 수류 모델에서 잘 校정된 사후 추정을 달성하여 고차원 추론으로의 확장성을 입증한다.
• 784차원 이미지 사전을 가진 카메라 광학 시뮬레이터에서 GATSBI는 암시적 사전을 사용하여 고차원 사후를 성공적으로 추론하며, NPE를 능가하는 성능을 보였다.
• GATSBI는 여러 벤치마크 문제에서 성능과 校정성을 유지하며, NPE와 같은 최첨단 SBI 방법과 유사한 결과를 도출한다.
• 이 방법은 암시적 추론을 지원하여, 재훈련 없이도 새로운 관측치에 대해 신속한 사후 표본 추출이 가능하다.
• GATSBI를 통한 순차적 사후 추정은 특정 관측치에 집중된 개선을 가능하게 하여 개별 데이터 포인트의 사후 정확도를 향상시킨다.
• SBC(Spherical Bayesian Calibration)는 GATSBI의 사후 주변분포가 균일하게 분포되어 있음을 확인하여, 차원 간에 적절한 校정성이 유지됨을 나타낸다.