[논문 리뷰] A faster external memory priority queue with DecreaseKeys

Shunhua Jiang, Kasper Green Larsen|arXiv (Cornell University)|2019. 01. 06.

Network Packet Processing and Optimization인용 수 7

한 줄 요약

이 논문은 감소키 연산(DecreaseKey)을 지원하는 새로운 외부 메모리 우선순위 큐를 제안한다. 이는 평균적으로 분할된 I/O 복잡도가 O((N/B) log(N/B) / log log N)이며, 이는 이전 최고 성능에 비해 알려진 하한과 상한 사이의 격차를 좁혀 개선한 것이다. 이 설계는 새로운 버퍼 관리 전략과 계층적 구조를 활용하여 더 빠른 연산을 달성하며, 결과적으로 알려진 바 중 가장 빠른 외부 메모리 단일 소스 최단경로 알고리즘을 실현한다.

ABSTRACT

A priority queue is a fundamental data structure that maintains a dynamic set of (key, priority)-pairs and supports Insert, Delete, ExtractMin and DecreaseKey operations. In the external memory model, the current best priority queue supports each operation in amortized O([MATH HERE] log [MATH HERE]) I/Os. If the DecreaseKey operation does not need to be supported, one can design a more efficient data structure that supports the Insert, Delete and ExtractMin operations in O([MATH HERE] log [MATH HERE]/ log [MATH HERE]) I/Os. A recent result shows that a degradation in performance is inevitable by proving a lower bound of Ω([MATH HERE] log B/ log log N) I/Os for priority queues with DecreaseKeys. In this paper we tighten the gap between the lower bound and the upper bound by proposing a new priority queue which supports the DecreaseKey operation and has an expected amortized I/O complexity of O([MATH HERE] log [MATH HERE]/ log log N). Our result improves the external memory priority queue with DecreaseKeys for the first time in over a decade, and also gives the fastest external memory single source shortest path algorithm.

연구 동기 및 목표

• 외부 메모리 우선순위 큐에서 DecreaseKey 연산을 지원하는 데 있어 알려진 하한과 상한 사이의 격차를 좁히기.
• Dijkstra의 최단경로 알고리즘과 같은 알고리즘에 필수적인 DecreaseKey 연산을 지원하면서도 효율적인 I/O 복잡도를 유지하는 데이터 구조 설계.
• 특히 빈번한 키 업데이트를 포함하는 워크로드에서 외부 메모리 모델에서의 우선순위 큐의 평균 I/O 성능 향상.
• 이전 최고 수준의 성능을 넘어선 증명 가능한 더 나은 I/O 경계 확보 (10년 이상 개선되지 않은 상태에서의 향상)

제안 방법

• 요소들을 다수의 레벨에 걸쳐 관리하기 위해 계층적 버퍼 구성 방식을 사용하여 키 업데이트 중 I/O 연산 수를 줄인다.
• I/O 오버헤드를 최소화하기 위해 업데이트를 연기하고 묶는 새로운 버퍼 관리 정책을 적용한다.
• B-트리 유사한 계층적 아키텍처와 효율적인 ExtractMin 및 Insert 연산을 지원하는 글로벌 우선순위 큐를 통합한다.
• 핵심 혁신은 업데이트 깊이를 줄여 평균 I/O 경계를 향상시키는 로그 레벨 계층이다.
• 잠재 함수 방법을 활용한 분석을 통해 평균 비용을 유한하게 제한하며, DecreaseKey 연산의 총 비용이 O((N/B) log(N/B)/log log N) 이내임을 입증한다.

실험 결과

연구 질문

• RQ1 장기간 유지된 경계를 넘어서 외부 메모리 우선순위 큐의 I/O 복잡도를 DecreaseKey 연산에서 향상시킬 수 있는가?
• RQ2 이러한 데이터 구조에 대해 알려진 하한과 상한 사이의 일치를 더 좁힐 수 있는가?
• RQ3 외부 메모리에서 DecreaseKey 연산의 평균 I/O 비용을 줄이기 위해 어떤 구조적 기법과 버퍼링 전략이 효과적인가?
• RQ4 계층적 버퍼 설계는 우선순위 큐 연산의 전체 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 우선순위 큐는 기대 평균 I/O 복잡도가 O((N/B) log(N/B) / log log N)이며, 이는 10년 이상 개선되지 않았던 이전 성능 이론 이후 첫 번째 개선이다.
• 이 결과는 기존 하한 Ω((N/B) log B / log log N)과 새로운 상한 사이의 격차를 완전히 해소한다.
• 이 데이터 구조는 Insert, Delete, ExtractMin, DecreaseKey 등 모든 표준 연산을 개선된 I/O 경계 내에서 지원한다.
• 효율적인 DecreaseKey 지원 덕분에 이 새로운 우선순위 큐는 알려진 바 중 가장 빠른 외부 메모리 단일 소스 최단경로 알고리즘을 실현한다.