[논문 리뷰] Likelihood-free inference with an improved cross-entropy estimator

Markus Stoye, Johann Brehmer외 3명|arXiv (Cornell University)|2018. 08. 02.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 21

한 줄 요약

이 논문은 시뮬레이터에서 추출한 연합 우도 비율과 점수를 활용하여 개선된 교차 엔트로피 추정기를 도입한 likelihood-free 추론 방법인 Alice와 Alices를 제안한다. 학습 목표의 분산을 줄임으로써, Rascal, Cascal, Rolr와 같은 이전 기법들에 비해 특히 제한된 학습 데이터에서 더 높은 샘플 효율성을 달성한다.

ABSTRACT

We extend recent work (Brehmer, et. al., 2018) that use neural networks as surrogate models for likelihood-free inference. As in the previous work, we exploit the fact that the joint likelihood ratio and joint score, conditioned on both observed and latent variables, can often be extracted from an implicit generative model or simulator to augment the training data for these surrogate models. We show how this augmented training data can be used to provide a new cross-entropy estimator, which provides improved sample efficiency compared to previous loss functions exploiting this augmented training data.

연구 동기 및 목표

• 복잡한 시뮬레이터로 인해 우도가 추정 불가능할 경우 likelihood-free 추론에서의 샘플 비효율성 문제를 해결하기 위해.
• 교차 검증 모델 학습에 사용되는 손실 함수의 분산을 줄임으로써 학습 안정성과 수렴성을 향상시키기 위해.
• 시뮬레이터에서 추출한 추가 정보인 연합 우도 비율과 점수를 활용하여 신경망 기반 우도 비율 추정기의 품질을 향상시키기 위해.
• 기존의 평균 제곱 오차와 기본 교차 엔트로피 접근 방식보다 유한 샘플 영역에서 더 우수한 성능을 보이는 새로운 교차 엔트로피 추정기를 개발하기 위해.
• 개선된 추정기가 특히 저자료 영역에서 더 신뢰할 수 있고 좁은 통계적 추론 간격을 제공하는지 입증하기 위해.

제안 방법

• 이 방법은 시뮬레이터에서 추출한 연합 우도 비율 $ r(x,z|\theta_0,\theta_1) $ 와 연합 점수 $ t(x,z|\theta_0) $ 를 보조 학습 신호로 사용한다.
• 기존의 높은 분산을 보이는 이진 레이블 $ y_i \in \{0,1\} $ 를 대체하여, 계산이 용이한 $ s(x,z|\theta_0,\theta_1) = \frac{1}{r(x,z|\theta_0,\theta_1)+1} $ 를 타겟으로 사용하는 새로운 교차 엔트로피 손실 $ L_{\textsc{Alice}} $ 를 도입한다.
• 개선된 추정기는 표준 교차 엔트로피와 평균 제곱 오차 손실에 비해 분산을 줄여, 더 빠르고 안정적인 학습을 가능하게 한다.
• 이 방법은 이진 교차 엔트로피 프레임워크를 다중 매개변수 점들로 일반화한 Alices로 확장된다. 이는 쌍별 연합 우도 비율을 사용한다.
• 성능은 합성 및 실제 입자물리 시뮬레이션을 통해 검증되었으며, 빈도주의 커버리지와 배제 한계를 기준으로 평가되었다.
• 신경망을 사용하여 우도 비율을 근사하는 데 학습 목표를 최적화하였으며, 성능 평가에는 네이만 구성법과 참값과의 비교가 사용되었다.

실험 결과

연구 질문

• RQ1 시뮬레이터에서 추출한 연합 우도 비율을 기반으로 한 분산 감소 교차 엔트로피 추정기는 likelihood-free 추론에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 제한된 학습 데이터에서 Rascal, Cascal, Rolr와 같은 기존 기법들과 비교해 새로운 추정기의 수렴 속도와 정확도는 어떻게 되는가?
• RQ3 기존 기준 방법에 비해 개선된 추정기는 통계적 배제 한계에서의 과도한 낙관주의를 어느 정도 줄일 수 있는가?
• RQ4 교차 엔트로피 프레임워크는 이진 비교를 넘어서 쌍별 연합 우도 비율을 사용한 다중 매개변수 추론으로 일반화될 수 있는가?
• RQ5 연합 우도 비율과 점수의 사용은 신뢰구간 구성에서 더 신뢰할 수 있는 빈도주의 커버리지를 제공하는가?

주요 결과

• Alice와 Alices는 특히 $ 10^5 $ 개의 샘플로 구성된 작은 학습 세트에서 Rolr, Cascal, Rascal보다 훨씬 높은 샘플 효율성을 달성한다.
• 개선된 교차 엔트로피 추정기는 손실 함수의 분산을 줄여 신경망 서rogate의 더 빠른 수렴과 더 안정적인 학습을 이끈다.
• 검출기 효과가 있는 입자물리 시나리오에서, Alices는 제한된 데이터로도 진짜 우도 비율 기반 결과와 거의 구분할 수 없을 정도로 유사한 배제 한계를 생성한다.
• Alice와 Alices는 특히 학습 데이터가 부족할 경우 Rascal과 Cascal보다 커버리지와 빈도주의 신뢰구간의 정밀도에서 뛰어난 성능을 보인다.
• $ 10^7 $ 개의 학습 샘플을 사용할 경우, Alice, Alices, Rascal의 성능은 거의 구분되지 않으며, 이는 강한 점근적 수렴을 시사한다.
• 이 방법은 배제 한계에서의 과도한 낙관주의에 강건하여 Rolr와 같은 방법에서 관찰되는 지나친 낙관주의 간격을 피하고, 네이만 구성에서 적절한 커버리지를 유지한다.