[논문 리뷰] Pushing the Limits of Importance Sampling through Iterative Moment Matching

Topi Paananen, Juho Piironen외 2명|arXiv (Cornell University)|2019. 06. 20.

Probabilistic and Robust Engineering Design참고 문헌 38인용 수 1

한 줄 요약

이 논문은 복잡하고 비가역적인 분포에 대해 중요도 샘플링 제안 분포를 향상시키기 위해 반복적인 모멘트 매칭 방법을 도입한다. 이는 추정기의 정확도와 수렴 속도를 향상시킨다. 표본 모멘트를 중요도 가중치가 부여된 대응 모멘트와 일치시킴으로써, 특히 영향력이 큰 관측치가 있는 경우 베이지안 이탈리스트 오브 크로스 밸리데이션에서 성능을 향상시키며, 유한 표본으로부터 수렴 속도를 추정하는 진단 도구를 포함한다.

ABSTRACT

The accuracy of an integral approximation via Monte Carlo sampling depends on the distribution of the integrand and the existence of its moments. In importance sampling, the choice of the proposal distribution markedly affects the existence of these moments and thus the accuracy of the obtained integral approximation. In this work, we present a method for improving the proposal distribution that applies to complicated distributions which are not available in closed form. The method iteratively matches the moments of a sample from the proposal distribution to their importance weighted moments, and is applicable to both standard importance sampling and self-normalized importance sampling. We apply the method to Bayesian leave-one-out cross-validation and show that it can significantly improve the accuracy of model assessment compared to regular Monte Carlo sampling or importance sampling when there are influential observations. We also propose a diagnostic method that can estimate the convergence rate of any Monte Carlo estimator from a finite random sample.

연구 동기 및 목표

• 복잡하고 비가역적인 사후 분포를 다룰 때 중요도 샘플링에서의 악성 수렴과 높은 분산 문제를 해결하기 위해.
• 대상 분포의 닫힌 형태 표현이 없더라도 작동하는 제안 분포 정련 기법을 개발하기 위해.
• 영향력 있는 관측치가 결과를 왜곡할 경우에 특히 정확도를 높이기 위해 베이지안 이탈리스트 오브 크로스 밸리데이션에서 몬테카를로 추정기의 정확도를 향상시키기 위해.
• 유한 표본으로부터 어떤 몬테카를로 추정기의 수렴 속도를 추정할 수 있는 진단 방법을 제공하기 위해.

제안 방법

• 대상 분포의 중요도 가중치가 부여된 모멘트와 일치시키기 위해 제안 분포의 원시 모멘트를 반복적으로 조정한다.
• 모멘트 매칭 업데이트의 시퀀스를 사용하여 반복 과정에서 제안 분포를 정교화함으로써 대상 분포와의 일치도를 향상시킨다.
• 표준 및 자기정규화 중요도 샘플링 프레임워크에 모두 적용하여 광범위한 적용 가능성을 확보한다.
• 반복 정밀화 과정을 활용하여 추정기의 분산을 줄이고 모멘트 존재성을 향상시킨다.
• 유한 표본 하나로 몬테카를로 추정기의 수렴 속도를 추정하는 진단 절차를 도입한다.

실험 결과

연구 질문

• RQ1 대상 분포가 닫힌 형태로 제공되지 않을 경우 중요도 샘플링에서 제안 분포를 체계적으로 향상시킬 수 있는 방법은 무엇인가?
• RQ2 반복적 모멘트 매칭이 베이지안 이탈리스트 오브 크로스 밸리데이션에서 분산을 줄이고 수렴을 향상시키는 데 어느 정도 기여하는가?
• RQ3 유한 표본으로부터 몬테카를로 추정기의 수렴 속도를 추정할 수 있는 진단 도구를 개발할 수 있는가?
• RQ4 영향력 있는 관측치가 존재하는 상황에서 제안된 방법은 표준 몬테카를로 및 기본 중요도 샘플링과 비교해 어떻게 다른가?

주요 결과

• 반복적 모멘트 매칭 접근법은 특히 영향력 있는 관측치가 표준 추정기를 왜곡할 경우에 베이지안 이탈리스트 오브 크로스 밸리데이션에서 적분 근사의 정확도를 크게 향상시킨다.
• 제안 분포를 모멘트 일치를 통해 정교화함으로써 중요도 샘플링 추정기의 모멘트 존재성을 향상시킨다.
• 진단 도구는 단일 유한 표본으로부터 몬테카를로 추정기의 수렴 속도를 성공적으로 추정하여 추정기 신뢰성의 실용적 평가를 가능하게 한다.
• 표준 몬테카를로 및 기본 중요도 샘플링에 비해 제안된 방법은 도전적인 사후 시나리오에서 더 안정적이고 정확한 모델 평가를 제공한다.