[논문 리뷰] Monte Carlo and Quasi-Monte Carlo Density Estimation via Conditioning

Pierre L’Ecuyer, Florian Puchhammer외 1명|arXiv (Cornell University)|2019. 06. 11.

Statistical Methods and Inference참고 문헌 2인용 수 4

한 줄 요약

이 논문은 조건부 몬테카를로를 사용하여 비편향 밀도 추정기를 생성하는 새로운 몬테카를로 및 준몬테카를로 밀도 추정 방법을 제안한다. 이 방법은 기존 비모수적 방법보다 빠른 수렴 속도를 보이며, 통제 가능한 샘플링 환경에서 시뮬레이션 설정에서 특히 효과적이다.

ABSTRACT

Estimating the unknown density from which a given independent sample originates is more difficult than estimating the mean, in the sense that for the best popular non-parametric density estimators, the mean integrated square error converges more slowly than at the canonical rate of $\mathcal{O}(1/n)$. When the sample is generated from a simulation model and we have control over how this is done, we can do better. We examine an approach in which conditional Monte Carlo yields, under certain conditions, a random conditional density which is an unbiased estimator of the true density at any point. By averaging independent replications, we obtain a density estimator that converges at a faster rate than the usual ones. Moreover, combining this new type of estimator with randomized quasi-Monte Carlo to generate the samples typically brings a larger improvement on the error and convergence rate than for the usual estimators, because the new estimator is smoother as a function of the underlying uniform random numbers.

연구 동기 및 목표

• 일般적으로 O(1/n) 속도로 수렴하는 표준 비모수적 밀도 추정에서의 느린 수렴 문제를 해결한다.
• 사용자가 샘플링 메커니즘을 통제할 수 있는 시뮬레이션 실험에서 밀도 추정 정확도를 향상시킨다.
• 조건부 몬테카를로를 통해 비편향 밀도 추정기를 생성함으로써 더 빠른 수렴을 가능하게 하는 방법을 개발한다.
• 조건부 몬테카를로와 무작위화된 준몬테카를로(RQMC)를 결합하여 수렴 속도를 더욱 향상시키고 오차를 감소시킨다.
• 실제 시뮬레이션 예제에서 고전적 추정기와 비교하여 평균 통합 제곱오차 및 수렴 속도 측면에서 본 방법의 우수성을 입증한다.

제안 방법

• 모든 점에서 진짜 밀도에 대해 비편향이 되는 랜덤 조건부 밀도 추정기를 구성하기 위해 조건부 몬테카를로를 사용한다.
• 조건부 밀도 추정기의 독립적 복제본을 생성하고 평균을 내어 최종 밀도 추정기를 형성한다.
• 기저의 균일 난수를 생성하기 위해 무작위화된 준몬테카를로(RQMC)를 적용하며, 조건부 밀도 추정기의 매끄러움을 활용한다.
• 균일 난수에 대한 조건부 밀도의 매끄러움을 이용하여 RQMC로 더 빠른 수렴을 달성한다.
• 저이격도 성질과 순서 기반 가중치를 갖는 격자 및 소볼 포인트 세트를 사용하여 RQMC 성능을 향상시킨다.
• 분산 감소를 위해 조건부 실현값에 커널 밀도 추정 또는 유사한 비모수적 기법을 적용한다.

실험 결과

연구 질문

• RQ1 조건부 몬테카를로를 사용하여 고전적 비모수적 방법보다 더 빠르게 수렴하는 비편향 밀도 추정기를 구성할 수 있는가?
• RQ2 조건부 몬테카를로와 RQMC의 조합이 밀도 추정에서 수렴 속도를 향상시키고 평균 통합 제곱오차를 감소시키는 데 어떻게 기여하는가?
• RQ3 균일 난수에 대한 조건부 밀도 추정기의 매끄러움이 RQMC 성능에 얼마나 기여하는가?
• RQ4 실제 시뮬레이션 예제에서 본 방법은 표준 몬테카를로 및 준몬테카를로 밀도 추정기와 비교해 오차와 수렴 속도 측면에서 어떻게 성능을 발휘하는가?
• RQ5 본 방법은 정량과 기대손실을 더 정확하게 추정하여 신뢰구간의 품질을 향상시킬 수 있는가?

주요 결과

• 제안된 조건부 밀도 추정기(CDE)는 일반적으로 O(1/n) 속도로 수렴하는 표준 비모수적 추정기보다 더 빠른 수렴 속도를 달성한다.
• RQMC를 적용한 결과, 네트워크 신뢰성 예제에서 n = 2^19일 때 통합 분산(IV)이 약 16배 감소하여 오차 감소가著명하게 나타났다.
• 격자 및 소볼 포인트에 대한 경험적 수렴 속도 ˆν는 약 -1.2로 향상되어 표본 크기가 증가함에 따라 오차가 더 빠르게 감소함을 나타낸다.
• 아시아 옵션 예제에서 RQMC 기반 CDE 방법은 표준 MC 대비 IV를 상당히 감소시켰으며, log-IV는 log n에 대해 더 급격히 감소하였다.
• 정량 및 기대손실 추정을 향상시켜 정량점에서 더 정확한 밀도 추정을 제공함으로써 더 나은 신뢰구간 품질을 달성한다.
• 조건부 밀도 추정기는 균일 난수에 대한 함수로서 더 매끄럽기 때문에, 특히 조건부 밀도가 충분히 매끄러울 경우 RQMC의 이점을 극대화한다.