[논문 리뷰] Fast inverse transform sampling in one and two dimensions

Sheehan Olver, Alex Townsend|arXiv (Cornell University)|2013. 07. 04.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 34

한 줄 요약

이 논문은 적응형 체비셰프 다항식 근사와 저질서 함수 근사 기법을 사용하여 1차원 및 2차원 확률 분포에 대한 빠르고 안정적인 역변환 샘플링 알고리즘을 제시한다. 함수 평가 횟수를 줄이고 효율적인 병렬 처리를 가능하게 하여, 특히 계산 비용이 높은 분포에서 추출 샘플링 및 슬라이스 샘플링보다 뛰어난 성능을 발휘하며, 근마이너스기계 정밀도 수준의 정확도를 달성한다.

ABSTRACT

We develop a computationally efficient and robust algorithm for generating pseudo-random samples from a broad class of smooth probability distributions in one and two dimensions. The algorithm is based on inverse transform sampling with a polynomial approximation scheme using Chebyshev polynomials, Chebyshev grids, and low rank function approximation. Numerical experiments demonstrate that our algorithm outperforms existing approaches.

연구 동기 및 목표

• 일반적인 확률 분포에 대해 역변환 샘플링이 비효율적이라는 기존의 인식을 극복하기 위해.
• 1차원 및 2차원에서 부드럽고 블랙박스 형태의 확률 분포에 대해 안정적이고 계산 효율성이 높은 샘플링 방법을 개발하기 위해.
• 다항식 근사와 저질서 구조를 활용하여 최소한의 함수 평가로 고정밀도 샘플링을 가능하게 하기 위해.
• 대규모 샘플링 작업에 적합한 확장성 있고 병렬 처리가 가능한 알고리즘을 제공하기 위해.

제안 방법

• 빠른余弦변환을 통해 안정적이고 빠른 계산이 가능한 체비셰프 격자 위에서 확률 밀도 함수(PDF)를 체비셰프 다항식으로 근사한다.
• 계수 감쇠가 기계 정밀도에 도달할 때까지 다항식 차수를 적응적으로 정밀화함으로써 누적분포함수(CDF)의 고정밀도를 보장한다.
• 직접 역함수를 계산하는 대신 이항사상 방법을 사용하여 CDF를 점별로 역행함으로써 강력한 수렴성을 확보한다.
• 2차원으로의 확장을 위해 이변량 CDF의 저질서 근사를 사용하여 계산 비용과 저장 공간을 감소시킨다.
• 블랙박스 접근 방식을 사용함: 기호적 변환이나 특수한 성질이 필요 없고, 오직 PDF의 점별 평가와 경계 구간만 필요하다.
• 원래의 PDF는 근사 후 폐기하고, 근사된 CDF에 기반한 역변환 샘플링을 통해 샘플을 생성한다.

실험 결과

연구 질문

• RQ1 일般적인 부드럽고 블랙박스 형태의 확률 분포에 대해 역변환 샘플링을 효율적이고 안정적으로 만들 수 있는가?
• RQ2 체비셰프 다항식 근사 기법이 CDF 계산 및 역행의 정확도와 속도를 어떻게 향상시킬 수 있는가?
• RQ3 저질서 근사 기법을 통해 부드러운 이변량 분포에 대해 효율적인 2차원 역변환 샘플링을 가능하게 할 수 있는가?
• RQ4 제안된 방법은 추출 샘플링 및 슬라이스 샘플링에 비해 성능과 함수 평가 횟수에서 어떻게 비교되는가?
• RQ5 이 알고리즘은 대규모 샘플링에 대해 얼마나 효율적으로 병렬 처리될 수 있는가?

주요 결과

• 1D에서 Matlab의 슬라이스 샘플링 구현보다 성능이 뛰어나며, ω ≥ 30일 때 sech(ωx) 분포에서 뚜렷한 속도 향상을 보였다.
• sech(ωx) 분포에서 역변환 방법은 큰 ω에서 추출 샘플링 대비 함수 평가 횟수를 10배 감소시켰다.
• 제안된 방법의 계산 비용은 샘플 크기와 관계없이 거의 일정하지만, 추출 샘플링는 샘플당 비용이 무한히 증가할 수 있다.
• 체비셰프 근사의 초대수수렴 덕분에 알고리즘이 강력하고 기계 정밀도 수준의 정밀도에 수렴한다.
• CDF 표현이 압축되어 있고 로컬에 저장 가능하므로, 분산 샘플링에 있어 효율적인 병렬 처리가 가능하다.
• 적절한 변환과 근사 기법을 통해 조각별로 부드럽고 특이점이 있거나 대수적으로 감쇠하는 분포로의 일반화가 가능하다.