[논문 리뷰] A Limit Theorem for Radix Sort and Tries with Markovian Input

Kevin Leckey, Ralph Neininger외 1명|arXiv (Cornell University)|2015. 05. 27.

Algorithms and Data Compression참고 문헌 22인용 수 4

한 줄 요약

이 논문은 마르코프 입력 모델 하에서 트라이의 외부 경로 길이와 라디ックス터트의 시간 복잡도에 대해 중심극한정리의 수립을 위해 수축 방법을 새로운 방식으로 적용하고, 모멘트 전이와 Zolotarev 거리의 곱 버전을 결합함으로써 이루어진다. 주요 기여는 마르코프 소스 하에서 이러한 구조에 대한 첫 번째 엄밀한 극한 법칙을 제시하여 오랫동안 분석의 난이도를 안겨온 종속성 문제를 해결한 데 있다.

ABSTRACT

Tries are among the most versatile and widely used data structures on words. In particular, they are used in fundamental sorting algorithms such as radix sort which we study in this paper. While the performance of radix sort and tries under a realistic probabilistic model for the generation of words is of significant importance, its analysis, even for simplest memoryless sources, has proved difficult. In this paper we consider a more realistic model where words are generated by a Markov source. By a novel use of the contraction method combined with moment transfer techniques we prove a central limit theorem for the complexity of radix sort and for the external path length in a trie. This is the first application of the contraction method to the analysis of algorithms and data structures with Markovian inputs; it relies on the use of systems of stochastic recurrences combined with a product version of the Zolotarev metric.

연구 동기 및 목표

• 입력 문자열이 마르코프 소스에 의해 생성될 때 트라이의 외부 경로 길이의 渐近 분포를 분석하는 것.
• 이전 분석 기법이 저항해 온 마르코프 입력 하에서 경로 길이 분석의 강한 종속성 문제를 극복하는 것.
• 이전에는 i.i.d. 또는 메모리 없는 입력에만 적용된 수축 방법을 마르코프 입력을 가진 재귀적 데이터 구조로 확장하는 것.
• 일반적인 마르코프 모델 하에서 트라이의 외부 경로 길이와 라디ックス터트 복잡도에 대한 중심극한정리를 수립하는 것.
• 시스템적 확률적 재귀식 분석을 위해 Zolotarev 거리의 곱 버전을 개발하고, 이를 수축 방법 프레임워크에 적용하는 것.

제안 방법

• 저자들은 원래 Quicksort에 대해 개발된 수축 방법을 사용하여 마르코프 입력 하에서 재귀적 데이터 구조의 분포적 행동을 분석한다.
• 트라이와 라디ックス터트의 재귀적 구조를 반영하는 시스템적 확률적 재귀식을 통해 외부 경로 길이와 라디ックス터트 복잡도를 모델링한다.
• 마르코프 설정에서 다중 재귀적 구성 요소의 공동 분포 수렴을 다루기 위해 Zolotarev 거리의 곱 버전을 도입한다.
• 수렴의 고차 모멘트 제어를 위해 모멘트 전이 기법을 사용하여, 이 방법을 i.i.d. 입력 외의 입력에 적용할 수 있도록 한다.
• 분석은 새로운 커플링 추론과 제어된 모멘트를 가진 측도 공간에서 확률 측도 위의 수축 사상에 기반한다.
• 체르노프 유사 한계와 대수법칙을 적용하여 하위 문제 크기의 분포(예: 왼쪽 및 오른쪽 서브트리에 속한 문자열 수)를 제어함으로써 분포 수렴을 확보한다.

실험 결과

연구 질문

• RQ1 마르코프로 생성된 문자열로 구성된 트라이의 외부 경로 길이가 중심극한정리를 만족하는가?
• RQ2 수축 방법은 i.i.d. 입력 외에 마르코프 입력을 가진 재귀적 데이터 구조로 확장될 수 있는가?
• RQ3 입력 문자열이 마르코프 과정을 따를 경우, 라디ックス터트의 시간 복잡도의 극한 분포는 무엇인가?
• RQ4 마르코프 모델이 도입하는 종속성은 경로 길이의 수렴 속도와 渐近 분산에 어떤 영향을 미치는가?
• RQ5 마르코프 입력 하에서 시스템적 확률적 재귀식을 분석하기 위해 Zolotarev 거리의 곱 버전을 구성할 수 있는가?

주요 결과

• 마르코프 소스에서 유래한 $ n $개의 문자열로 구성된 트라이의 외부 경로 길이와 라디ックス터트의 복잡도는 $ n \to \infty $일 때 중심극한정리를 만족한다.
• 극한 분포는 특정한 渐近 분산 $ \sigma^2 $를 가진 정규분포이며, 이는 마르코프 소스의 전이행렬에 따라 달라진다.
• 수축 방법이 마르코프 입력으로 확장되어, 이론적 알고리즘 분석 분야에서 이러한 설정에 수축 방법을 적용한 첫 번째 사례이다.
• Zolotarev 거리의 곱 버전을 사용함으로써 재귀적 데이터 구조에서 유도된 시스템적 확률적 재귀식의 공동 수렴 분석이 가능해졌다.
• 슬러츠키의 보조정리와 모멘트 제어를 통해 정규화된 복잡도 $ (B_n^\mu - \mathbb{E}[B_n^\mu]) / \sqrt{n \log n} $ 가 정규분포로 수렴하는 것이 입증되었다.
• 수렴의 오차 항은 $ n \to \infty $일 때 소멸하며, 나머지 항은 $ O(1/\sqrt{\log n}) $ 이내로 유계되어 있음을 보여, 渐近 정규성을 확인하였다.