[논문 리뷰] Streaming Algorithms for Optimal Generation of Random Bits

Hongchao Zhou, Jehoshua Bruck|arXiv (Cornell University)|2012. 09. 04.

Algorithms and Data Compression참고 문헌 11인용 수 4

한 줄 요약

이 논문은 편향된 동전에서 최적의 랜덤 비트 스트림을 생성하기 위한 스트리밍 알고리즘을 제시한다. 유한 상태 트리 구조를 사용하여 실시간으로 비편향 비트를 동적으로 생성하며, 정보 효율성이 점점 증가하여 엔트로피 한계에 수렴한다. 이 알고리즘은 선형 기대 시간과 일정한 공간 복잡도를 유지하면서도, m면체 주사전과 전이 확률이 알려지지 않은 마르코프 체계로의 확장도 가능하다.

ABSTRACT

Generating random bits from a source of biased coins (the biased is unknown) is a classical question that was originally studied by von Neumann. There are a number of known algorithms that have asymptotically optimal information efficiency, namely, the expected number of generated random bits per input bit is asymptotically close to the entropy of the source. However, only the original von Neumann algorithm has a `streaming property' - it operates on a single input bit at a time and it generates random bits when possible, alas, it does not have an optimal information efficiency. The main contribution of this paper is an algorithm that generates random bit streams from biased coins, uses bounded space and runs in expected linear time. As the size of the allotted space increases, the algorithm approaches the information-theoretic upper bound on efficiency. In addition, we discuss how to extend this algorithm to generate random bit streams from m-sided dice or correlated sources such as Markov chains.

연구 동기 및 목표

• 입력 시퀀스 전체를 기다리지 않고 실시간으로 편향된 동전에서 비편향 랜덤 비트를 생성하는 스트리밍 알고리즘을 개발한다.
• 유한한 메모리와 선형 기대 시간을 유지하면서도 정보 이론적 최적성—소스의 엔트로피에 수렴하는 정보 효율성—을 달성한다.
• 알파벳 크기가 더 큰 소스(예: m면체 주사전)와 상관관계가 있는 소스(예: 전이 확률이 알려지지 않은 마르코프 체계)를 처리할 수 있도록 알고리즘을 확장한다.
• 바로크의 원래 알고리즘보다 개선된 성능을 유지하면서도 스트리밍 성질(동적 출력 생성)을 유지한다. 원래 알고리즘은 효율적이지만 정보 이론적으로 최적은 아니다.
• 상태 공간(트리 깊이)이 증가함에 따라 알고리즘의 효율성이 정보 이론적 상한선에 수렴함을 보여준다.

제안 방법

• 알고리즘의 내부 상태를 이진 상태 트리로 표현하며, 각 노드는 {φ, H, T, 0, 1}에서 온 기호로 레이블이 지정되어 있어, 들어오는 동전 던지기 결과에 따라 동적으로 상태 전이가 가능하다.
• 각 들어오는 비트를 처리할 때는 유용한 정보를 향후 비트 생성에 활용하기 위해 정의된 규칙에 따라 상태 트리를 업데이트하며, 엔트로피 손실을 방지한다.
• 현재 상태에서 완전한 쌍(HT 또는 TH)이 감지될 때만 랜덤 비트를 생성한다. 이는 바로크의 방법과 유사하지만 고차원 상태로 일반화된 것이다.
• 각 상태의 마르코프 체계에서의 탈출 순서를 보관하는 펜딩 버퍼를 사용하여, 동일한 상태에서 두 번째 탈출이 관측될 때까지 입력을 지연시킨다.
• 각 상태의 탈출 스트림에 대해 일반화된 랜덤 스트림 알고리즘을 독립적으로 적용한 후, 자연스러운 생성 순서에 따라 생성된 비트를 혼합하여 단일 출력 스트림을 형성한다.
• 상태 트리의 깊이를 제한하여 공간 사용량을 통제하며, 깊이가 증가할수록 효율성이 엔트로피 한계에 급격히 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 편향된 동전에서 유한한 메모리와 점점 증가하는 정보 효율성으로 비편향 랜덤 비트 스트림을 생성하는 스트리밍 알고리즘을 설계할 수 있는가?
• RQ2 바로크의 스트리밍 접근 방식을 어떻게 일반화하여 배치 처리가 필요 없이 정보 이론적으로 최적의 성능을 달성할 수 있는가?
• RQ3 스트리밍 랜덤 비트 생성에서 메모리 크기(트리 깊이)와 정보 효율성 사이의 상호 교환 관계는 무엇인가?
• RQ4 알고리즘을 m면체 주사전 또는 전이 확률이 알려지지 않은 마르코프 체계에서 비트 스트림을 생성하도록 확장할 수 있는가? 이때 최적성은 유지되는가?
• RQ5 상관관계가 있는 소스에 대해 이론적 최상한 효율에 도달하면서도 스트리밍 성질—동적이고 실시간 출력—을 유지하는 것이 가능한가?

주요 결과

• 제안된 랜덤 스트림 알고리즘은 편향된 동전 소스에서 독립적이고 비편향된 랜덤 비트 스트림을 생성하며, 스트리밍 성질을 만족한다. 즉, 임의의 입력 접두사에 대해 출력은 전체 출력의 접두사가 된다.
• 알고리즘은 점점 증가하는 정보 효율성을 달성한다. 출력 비트 수가 증가함에 따라, 생성된 각 비트당 평균 입력 비트 수가 1/H(p)로 수렴하며, 여기서 H(p)는 편향된 동전의 엔트로피이다.
• 상태 트리의 깊이를 늘임으로써 알고리즘의 효율성이 정보 이론적 상한선에 급격히 수렴하며, 공간 사용량은 여전히 유한하다.
• 알고리즘은 기대 시간 복잡도가 선형이며, 유한한 공간만을 사용하므로 실시간 시스템에 실용적이다.
• 이 방법은 m면체 주사전으로 일반화되었으며, 이 경우 정보 효율성도 점점 증가하여 정보 이론적으로 최적이다. 또한 전이 확률이 알려지지 않은 마르코프 체계로도 적용 가능하다.
• 마르코프 체계의 경우, 각 상태의 탈출 순서를 별도로 처리하고, 펜딩 탈출을 버퍼링하며, 생성 순서에 따라 출력을 혼합하여 단일 비편향 비트 스트림을 형성한다. 이는 최적의 효율성을 달성한다.