[논문 리뷰] On-the-Fly Array Initialization in Less Space

Torben Hagerup, Frank Kammer|arXiv (Cornell University)|2016. 04. 20.

Algorithms and Data Compression참고 문헌 57인용 수 19

한 줄 요약

이 논문은 공간 효율적인 선택 사전 데이터 구조를 제안하며, 삽입, 삭제, 소속 여부 확인, 선택 연산을 O(t) 시간에 지원한다. 메모리 용량은 n + O(n(t/w)^t + log n) 비트를 사용하며, w = Θ(log n)일 경우 상수 시간 연산을 보장한다. 이는 최적의 부족 비트 수를 달성하며, 선형 시간 복잡도를 가지는 그래프 알고리즘을 하위선형 작업 메모리로 실행 가능하게 한다. 예를 들어 스패닝 포레스트 및 최단경로 트리 구성과 같은 알고리즘을 지원한다.

ABSTRACT

The choice dictionary is introduced as a data structure that can be initialized with a parameter $n\in\mathbb{N}=\{1,2,\ldots\}$ and subsequently maintains an initially empty subset $S$ of $\{1,\ldots,n\}$ under insertion, deletion, membership queries and an operation choice that returns an arbitrary element of $S$. The choice dictionary appears to be fundamental in space-efficient computing. We show that there is a choice dictionary that can be initialized with $n$ and an additional parameter $t\in\mathbb{N}$ and subsequently occupies $n+O(n(t/w)^t+\log n)$ bits of memory and executes each of the four operations insert, delete, contains (i.e., a membership query) and choice in $O(t)$ time on a word RAM with a word length of $w=Ω(\log n)$ bits. In particular, with $w=Θ(\log n)$, we can support insert, delete, contains and choice in constant time using $n+O(n/(\log n)^t)$ bits for arbitrary fixed $t$. We extend our results to maintaining several pairwise disjoint subsets of $\{1,\ldots,n\}$. We study additional space-efficient data structures for subsets $S$ of $\{1,\ldots,n\}$, including one that supports only insertion and an operation extract-choice that returns and deletes an arbitrary element of $S$. All our main data structures can be initialized in constant time and support efficient iteration over the set $S$, and we can allow changes to $S$ while an iteration over $S$ is in progress. We use these abilities crucially in designing the most space-efficient algorithms known for solving a number of graph and other combinatorial problems in linear time. In particular, given an undirected graph $G$ with $n$ vertices and $m$ edges, we can output a spanning forest of $G$ in $O(n+m)$ time with at most $(1+ε)n$ bits of working memory for arbitrary fixed $ε>0$.

연구 동기 및 목표

• 삽입, 삭제, 소속 여부 확인, 선택 연산을 최소한의 공간 오버헤드로 지원하는 동적 데이터 구조를 설계한다.
• 특히 w = Θ(log n)인 워드 램에서 n + o(n) 비트의 메모리만을 사용하여 상수 시간 연산을 달성한다.
• 선택 사전을 p-랭크, p-선택, 반복 처리와 같은 추가 연산을 지원하도록 확장하면서도 공간 효율성을 유지한다.
• 스패닝 포레스트 및 최단경로 트리 구성과 같은 기본 그래프 문제에 대한 공간 효율적인 알고리즘을 가능하게 한다.
• 시간 및 공간 제약 조건 하에서 체계적인 선택 사전의 부족 비트 수에 대한 날카로운 경계를 설정한다.

제안 방법

• 삽입, 삭제, 선택 연산을 효율적으로 지원하기 위해 비트 벡터 표현 방식에서 3색 체계를 적용한 체계적 선택 사전을 도입한다.
• w = Ω(log n) 비트를 가진 워드 램 모델을 사용하여, 연산을 t크기의 청크로 묶음으로써 각 연산에 O(t) 시간을 확보한다.
• 하이브리드 표현 방식을 적용: 집합 크기가 |W| ≥ n/w인 경우 비트 벡터를 사용하고, |W| < n/w인 경우 색상이 없는 선택 사전을 사용하며, 동적으로 전환한다.
• 선택 연산의 유연성(집합 S의 임의의 원소를 반환)을 활용하여 결정적 선택이 필요 없는 공간 최적화 알고리즘을 설계한다.
• 선택 사전을 그래프 알고리즘의 기본 구성 요소로 활용하여, 동적 업데이트 중에도 집합의 반복 처리를 가능하게 한다.
• 정보 이론적 부족 비트 분석을 통해 공간 한계를 증명하며, O(t) 시간 제약 조건 하에서 최소 Θ(n/(tw))의 부족 비트 수를 도출한다.

실험 결과

연구 질문

• RQ1 w-비트 워드 램에서 O(t) 시간 연산을 지원하는 동적 선택 사전이 달성할 수 있는 최소 부족 비트 수는 얼마인가?
• RQ2 선택 연산을 활용하여 스패닝 포레스트 및 최단경로 트리 구성과 같은 그래프 문제에 대한 공간 효율적인 알고리즘을 설계할 수 있는가?
• RQ3 삽입 및 삭제가 동시에 발생하는 동적 변화 집합에 대해 반복 처리를 안정적으로 지원하면서도 상수 시간 연산을 유지할 수 있는가?
• RQ4 시간 복잡도 O(t)와 공간 사용량 n + o(n) 사이의 상호 교환 관계는 어떻게 되는가?
• RQ5 p-랭크 및 p-선택과 같은 추가 연산을 낮은 부족 비트 수로 지원하면서도 O(t) 시간 성능을 유지할 수 있는가?

주요 결과

• 선택 사전은 w-비트 워드 램에서 삽입, 삭제, 포함 여부 확인, 선택 연산을 O(t) 시간에 수행할 수 있으며, 공간 사용량은 n + O(n(t/w)^t + log n) 비트이다.
• w = Θ(log n)일 경우, 모든 네 가지 연산이 O(1) 시간에 수행되며, 고정된 t에 대해 n + O(n/(log n)^t) 비트의 공간을 사용한다.
• O(t) 시간 연산을 지원하는 체계적 선택 사전의 최소 부족 비트 수는 tw = O(n/log n)일 때 Θ(n/(tw))이다.
• 부족 비트 수가 O(n log log n / log n)일 경우, 집합 S의 원소를 균일하게 랜덤하게 O(1) 시간에 선택할 수 있다.
• 삽입 및 삭제 중에도 안정적이고 동시성에 안전한 반복 처리를 지원한다.
• 선택 사전을 활용하여 그래프 문제에 대한 선형 시간 알고리즘을 구현할 수 있다: 스패닝 포레스트는 최대 (1 + ε)n 비트의 공간을 사용하여 O(n + m) 시간에 구성되며, 최단경로 트리는 n log₂3 + O(n/(log n)^t) 비트의 공간을 사용하여 O(n + m) 시간에 구성된다.