[논문 리뷰] Random Sampling: Practice Makes Imperfect

Philip B. Stark, Kellie Ottoboni|arXiv (Cornell University)|2018. 10. 25.

Chaos-based Image/Signal Encryption참고 문헌 13인용 수 5

한 줄 요약

이 논문은 통계 소프트웨어에서 널리 사용되는 의사난수 생성기(PRNG)가 중간 크기 이상의 데이터셋에 대해 가능한 모든 무작위 표본이나 순열을 생성할 수 있도록 충분한 상태 공간을 갖추지 못함으로써 편향된 표본 추출을 유도한다는 것을 보여준다. 저자들은 표준 PRNG 대신 기본적으로 암호학적으로 안전한 PRNG를 사용하고, 잘못된 곱하기-내림 처리 방법 대신 비트 마스킹 알고리즘을 사용하여 정수를 생성함으로써 통계적 정확도와 재현 가능성을 크게 향상시킬 것을 제안한다.

ABSTRACT

The pseudo-random number generators (PRNGs), sampling algorithms, and algorithms for generating random integers in some common statistical packages and programming languages are unnecessarily inaccurate, by an amount that may matter for statistical inference. Most use PRNGs with state spaces that are too small for contemporary sampling problems and methods such as the bootstrap and permutation tests. The random sampling algorithms in many packages rely on the false assumption that PRNGs produce IID $U[0, 1)$ outputs. The discreteness of PRNG outputs and the limited state space of common PRNGs cause those algorithms to perform poorly in practice. Statistics packages and scientific programming languages should use cryptographically secure PRNGs by default (not for their security properties, but for their statistical ones), and offer weaker PRNGs only as an option. Software should not use methods that assume PRNG outputs are IID $U[0,1)$ random variables, such as generating a random sample by permuting the population and taking the first $k$ items or generating random integers by multiplying a pseudo-random binary fraction or float by a constant and rounding the result. More accurate methods are available.

연구 동기 및 목표

• 통계 소프트웨어에서 널리 사용되는 의사난수 생성기(PRNG)가 현대의 표본 추출 문제에 적합한지 조사하기.
• PRNG 출력값이 완전히 독립적이고 동일하게 분포된 U[0,1) 변수라고 가정하는 알고리즘에서 발생하는 통계적 편향을 드러내기.
• 상태 공간이 제한된 탓에 Mersenne Twister와 같은 PRNG가 중간 크기 이상의 데이터셋에 대해 모든 순열이나 표본을 생성할 수 없다는 것을 보여주기.
• PRNG 출력값이 균일할지라도 비균일 분포를 유도하는 잘못된 곱하기-내림 처리 방법을 통해 정수를 생성하는 방식의 문제점 규명 및 비판하기.
• 통계 소프트웨어에서의 최선의 실천 방안 제안: 암호학적으로 안전한 PRNG로의 이행 및 정수 생성에 비트 마스킹 알고리즘 도입

제안 방법

• 일반적인 PRNG(예: Mersenne Twister, 32비트 LCG)의 상태 공간 크기를 분석하여, 크기가 n인 모집단에서 크기가 k인 모든 순열이나 표본을 생성할 수 있는지 여부 평가하기.
• 데이터를 뒤섞는 것 또는 PRNG 출력값에 상수를 곱하고 반올림하는 방식(Multiply-and-floor 방법)에 의존하는 표본 추출 알고리즘의 통계적 행동 분석하기.
• 비트 마스킹 방법과 곱하기-내림 처리 방법을 비교하여, {1,…,m} 범위의 균일 분포 정수를 생성할 때 후자가 편향을 피한다는 것을 보여주기.
• 이론적 균일 분포와 실제 PRNG 및 표본 추출 알고리즘에 의해 유도된 분포 사이의 L₁ 거리 측정하기. 이 거리는 2에 가까워질 수 있음을 발견.
• 보안 목적 외에도 우수한 통계적 성질을 지닌 암호학적으로 안전한 PRNG(CS-PRNG)를 통계 소프트웨어의 기본 설정으로 사용할 것을 제안하기.
• 구현 및 공개된 파이썬용 프로토타입 CS-PRNG(cryptorandom)를 통해 실현 가능성 입증하고, R 및 파이썬 생태계에서의 도입을 장려하기.

실험 결과

연구 질문

• RQ1 Mersenne Twister와 같은 일반적인 PRNG는 중간 크기의 n과 k에 대해 크기가 n인 모집단에서 크기가 k인 모든 가능한 표본을 생성할 수 있는가?
• RQ2 PRNG 출력값이 균일할지라도, 정수를 생성하는 데 사용되는 곱하기-내림 처리 방법이 얼마나 편향을 유도하는가?
• RQ3 이론적 균일 분포와 표준 소프트웨어에서 실제로 생성된 분포 사이의 통계적 차이(비례 L₁ 거리)는 어느 정도인가?
• RQ4 실제 복제 횟수(예: 10⁵)에서 PRNG의 한계로 인해 일반적인 통계 절차(예: 부트스트랩, 순열 검정)에 실질적이고 검출 가능한 편향이 존재하는가?
• RQ5 암호학적으로 안전한 PRNG와 비트 마스킹 알고리즘의 사용이 통계 소프트웨어에서 표본 추출 편향을 제거하거나 크게 감소시킬 수 있는가?

주요 결과

• 유한한 상태 공간을 가진 PRNG(예: Mersenne Twister)는 2084개 이상의 항목에 대한 모든 순열을 생성할 수 없으며, 이는 대규모 리샘플링에 제약을 가한다.
• R의 sample()과 파이썬의 random.choice()에서 사용하는 곱하기-내림 처리 방법은, PRNG 출력값이 w비트 정수에서 균일하게 분포하더라도 비균일 분포를 생성한다.
• 이론적 균일 분포와 잘못된 PRNG 및 알고리즘에 의해 생성된 실제 분포 사이의 L₁ 거리는 거의 2에 도달할 수 있으며, 이는 상당한 통계적 편향을 의미한다.
• 몇백 개의 관측치를 가진 데이터셋입니다라도 일반적인 PRNG는 크기가 k인 가능한 모든 부분집합을 생성하지 못하며, 이는 부트스트랩 및 순열 검정과 같은 리샘플링 방법의 타당성을 훼손한다.
• 비트 마스킹 방법(범위를 벗어나면 비트를 마스킹하고 기각함)은 균일 분포 정수를 생성하며, 곱하기-내림 처리 방법 대신 사용되어야 한다.
• 암호학적으로 안전한 PRNG는 느리지만 더 뛰어난 통계적 성질을 지니며, 편향을 방지하기 위해 통계 소프트웨어에서 기본 설정으로 사용되어야 하며, 더 약한 PRNG는 옵션으로만 제공되어야 한다.