[논문 리뷰] Sampling with arbitrary precision.

Luc Devroye, Claude Gravel|arXiv (Cornell University)|2015. 02. 09.

Markov Chains and Monte Carlo Methods참고 문헌 10인용 수 7

한 줄 요약

이 논문은 독립적인 공정한 동전을 사용하여 임의의 정밀도를 가진 연속 랜덤 변수를 생성하는 방법을 제안하며, 정확도를 측정하기 위해 Wasserstein $L_\infty$ 거리 측도를 도입한다. 기대로 사용되는 동전 수에 대한 보편적인 하한을 확립하고, 이 하한을 상수 인자까지 충족하는 알고리즘을 제시하며, 이 상수 인자는 일괄적으로 변수를 생성할 경우 제거된다.

ABSTRACT

We study the problem of the generation of a continuous random variable when a source of independent fair coins is available. We first motivate the choice of a natural criterion for measuring accuracy, the Wasserstein $L_\infty$ metric, and then show a universal lower bound for the expected number of required fair coins as a function of the accuracy. In the case of an absolutely continuous random variable with finite differential entropy, several algorithms are presented that match the lower bound up to a constant, which can be eliminated by generating random variables in batches.

연구 동기 및 목표

• 공정한 동전을 사용한 연속 랜덤 변수 생성의 정확도를 측정하는 자연스럽고 엄밀한 기준을 설정하기.
• 주어진 정확도로 연속 랜덤 변수를 생성하기 위해 필요한 공정한 동전의 기대 수에 대한 보편적인 하한을 도출하기.
• 절대 연속 확률 밀도 함수를 가진 분포에 대해, 이 하한을 상수 인자까지 충족하는 효율적인 알고리즘을 설계하기.
• 랜덤 변수를 일괄적으로 생성함으로써 이 하한에 대한 상수 인자를 제거할 수 있음을 보여주어 渐近적 효율성을 향상시키기.

제안 방법

• 정확도 기준으로 Wasserstein $L_\infty$ 거리 측도를 채택하여 누적분포함수 간의 Supremum 거리를 측정하기.
• 원하는 정밀도에 따라 기대되는 공정한 동전 수를 Wasserstein $L_\infty$ 거리 측도에 기반해 함수로 기술하기.
• 공정한 동전 수열을 사용해 역함수 샘플링을 시뮬레이션함으로써 연속 랜덤 변수를 생성하는 알고리즘을 구축하고, 지정된 거리 측도 내 정밀도를 보장하기.
• 일괄 처리 전략을 사용해 渐近적 하한에서의 상수 인자를 감소시켜, 추가 오버헤드 없이 하한에 근접한 알고리즘을 구현하기.
• 대상 분포의 유한한 미분 엔트로피를 활용해 시뮬레이션 과정의 복잡도를 제한하기.
• 제안된 알고리즘이 이론적 하한을 상수 인자까지 충족함을 증명하고, 일괄 생성의 극한에서 이 상수 인자가 사라짐을 보여주기.

실험 결과

연구 질문

• RQ1 임의의 정밀도로 연속 랜덤 변수를 생성하기 위해 필요한 최적의 기대 동전 수는 얼마인가?
• RQ2 Wasserstein $L_\infty$ 거리 측도는 이 맥락에서 정확도 측정의 자연스럽고 효과적인 기준으로서 어떻게 작용하는가?
• RQ3 기대 동전 수에 대한 보편적 하한을 상수 인자까지 충족하는 알고리즘을 구성할 수 있는가?
• RQ4 랜덤 변수를 일괄적으로 생성함으로써 하한에 대한 상수 인자를 어느 정도까지 제거할 수 있는가?
• RQ5 대상 분포의 유한한 미분 엔트로피는 샘플링 과정의 효율성에 어떤 영향을 미치는가?

주요 결과

• Wasserstein $L_\infty$ 거리 측도를 사용해 정밀도 $\varepsilon$로 연속 랜덤 변수를 생성하기 위해 필요한 공정한 동전 수에 대한 보편적 하한이 확립되었다.
• 유한한 미분 엔트로피를 가진 절대 연속 랜덤 변수에 대해, 이 하한을 상수 인자까지 충족하는 알고리즘이 제안되었다.
• 랜덤 변수를 일괄적으로 생성함으로써 하한에 대한 상수 인자를 渐近적으로 제거할 수 있으며, 이로써 극한에서 최적의 효율성을 달성할 수 있다.
• Wasserstein $L_\infty$ 거리 측도는 공정한 동전 기반 샘플링 맥락에서 정확도 측정의 자연스럽고 효과적인 기준을 제공한다.
• 제안된 알고리즘은 유한한 미분 엔트로피를 가진 광범위한 분포 클래스에 대해 최적의 기대 동전 사용을 달성한다.
• 일괄 생성은 渐近적 하한에서 상수 인자를 제거할 수 있게 하여, 최종적으로 정보 이론적으로 최적의 성능을 달성한다.