[논문 리뷰] Likelihood-Free Inference with Generative Neural Networks via Scoring Rule Minimization

Lorenzo Pacchiardi, Ritabrata Dutta|arXiv (Cornell University)|2022. 05. 31.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 가능도 자유 베이지안 추론을 위한 생성 신경망을 스코어링 규칙 최소화를 통해 훈련시키는 방법을 제안하며, GAN 기반 훈련의 안정성과는 상반된 안정적이고 적대적 학습이 없는 대안을 제공한다. 이 방법은 특히 노이즈가 있는 카메라 모델을 사용한 이미지 복원과 같은 고차원 설정에서 적대적 훈련보다 더 나은 불확실성 정량화와 더 빠른 수렴을 달성한다.

ABSTRACT

Bayesian Likelihood-Free Inference methods yield posterior approximations for simulator models with intractable likelihood. Recently, many works trained neural networks to approximate either the intractable likelihood or the posterior directly. Most proposals use normalizing flows, namely neural networks parametrizing invertible maps used to transform samples from an underlying base measure; the probability density of the transformed samples is then accessible and the normalizing flow can be trained via maximum likelihood on simulated parameter-observation pairs. A recent work [Ramesh et al., 2022] approximated instead the posterior with generative networks, which drop the invertibility requirement and are thus a more flexible class of distributions scaling to high-dimensional and structured data. However, generative networks only allow sampling from the parametrized distribution; for this reason, Ramesh et al. [2022] follows the common solution of adversarial training, where the generative network plays a min-max game against a "critic" network. This procedure is unstable and can lead to a learned distribution underestimating the uncertainty - in extreme cases collapsing to a single point. Here, we propose to approximate the posterior with generative networks trained by Scoring Rule minimization, an overlooked adversarial-free method enabling smooth training and better uncertainty quantification. In simulation studies, the Scoring Rule approach yields better performances with shorter training time with respect to the adversarial framework.

연구 동기 및 목표

• 가능도 자유 추론을 위한 생성 네트워크의 적대적 훈련에서 발생하는 불안정성과 낮은 불확실성 정량화 문제를 해결하기 위해.
• GAN에서 흔히 발생하는 최소-최대 게임과 모드 붕괴를 피할 수 있는 대안적 훈련 철학을 탐색하기 위해.
• 모의 시뮬레이터 기반 베이지안 추론에서 스코어링 규칙 최소화가 적대적 훈련보다 더 나은 사후 분포 근사치를 제공하는지 평가하기 위해.
• 이미지와 같은 고차원이고 구조적인 데이터에서 성능 향상과 훈련 효율성을 입증하기 위해.

제안 방법

• 가능도 자유 추론을 위한 사후 분포 근사를 위해 적대적 훈련 대신 스코어링 규칙 최소화를 사용하여 생성 신경망을 훈련시킨다.
• 적절한 스코어링 규칙—특히 에너지 스코어와 커널 스코어—를 목적 함수로 사용하여 예측 분포의 품질을 평가한다.
• 모의 파ameter-observation 쌍에 대한 스코어링 규칙의 기대값을 최소화하여 생성 네트워크의 파라미터를 최적화한다.
• 이미지와 같은 고차원 데이터를 효율적으로 처리하기 위해 패치 기반 스코어링 규칙(예: 패치 크기 8, 스트라이드 5)을 적용한다.
• 판별망 네트워크를 사용하지 않아 최소-최대 최적화 문제를 해결할 필요가 없어진다.
• 스코어링 규칙 목적 함수에 기반하여 확률적 경사 하강법을 사용해 생성 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 스코어링 규칙 최소화가 가능도 자유 추론에서 사후 근사에 있어 적대적 훈련보다 더 안정적이고 신뢰할 수 있는 대안을 제공할 수 있는가?
• RQ2 스코어링 규칙 훈련은 GAN 기반 방법보다 더 나은 불확실성 정량화를 이끌어낼 수 있는가?
• RQ3 고차원 데이터에서 스코어링 규칙 기반 훈련과 적대적 훈련 간의 수렴 속도와 최종 정확도 측면에서 성능 비교는 어떻게 되는가?
• RQ4 스코어링 규칙 최소화는 시뮬레이터 기반 추론에서 이미지와 같은 구조적 고차원 데이터를 효과적으로 처리할 수 있는가?

주요 결과

• 스코어링 규칙 기반 방법은 RMSE가 0.06–0.07로 GAN(0.25)보다 유의미하게 낮아 사후 평균 추정에서 더 나은 성능을 보였다.
• 스코어링 규칙 방법은 校정 오차가 0.36(비교 기준: 0.50)로 GAN보다 낮아 더 신뢰할 수 있는 불확실성 정량화를 보였다.
• 스코어링 규칙 훈련은 GAN(45,398초) 대비 런타임이 22,545–22,633초로 절반 이하로 줄었으며, 더 이른 에포크에서 정지되었다.
• 스코어링 규칙 방법에서 유도된 사후 표준편차 맵은 GAN 출력보다 경계 근처에서 더 공간적으로 일관되고 덜 편향되었다.
• 제한된 픽셀 값으로 인해 R² 값이 낮지만, 스코어링 규칙 방법은 다양한 지표와 설정 간에 더 일관된 성능을 보였다.
• 패치 크기 8과 스트라이드 5를 사용한 커널 스코어와 에너지 스코어가 다른 구성보다 더 나은 결과를 보여, 정확도와 안정성 측면에서 모두 슈퍼리어했다.