[논문 리뷰] Doing More for Less -- Cache-Aware Parallel Contraction Hierarchies Preprocessing

Dennis Luxen, Dennis Schieferdecker|arXiv (Cornell University)|2012. 08. 13.

Graph Theory and Algorithms참고 문헌 5인용 수 3

한 줄 요약

이 논문은 캐시에 민감한 공유 메모리 병렬 전처리 알고리즘을 제안하며, Contraction Hierarchies(CH)에 대해 탭루레이션 해싱을 사용하여 최소한의 코어당 메모리 오버헤드로 고성능을 달성한다. 최적화된 데이터 구조를 통해 캐시 국소성을 활용함으로써 전처리 시간을 크게 감소시켰으며, 이는 PRAM 최적화 이론적 설계보다 최대 25% 빠른 성능을 기록한다. 코어당 384 KB만을 사용하여 행성 규모의 도로 네트워크에 적합하다.

ABSTRACT

Contraction Hierarchies is a successful speedup-technique to Dijkstra's seminal shortest path algorithm that has a convenient trade-off between preprocessing and query times. We investigate a shared-memory parallel implementation that uses $O(n+m)$ space for storing the graph and O(1) space for each core during preprocessing. The presented data structures and algorithms consequently exploits cache locality and thus exhibit competitive preprocessing times. The presented implementation is especially suitable for preprocessing graphs of planet-wide scale in practice. Also, our experiments show that optimal data structures in the PRAM model can be beaten in practice by exploiting memory cache hierarchies.

연구 동기 및 목표

• 대규모 도로 네트워크에서 높은 성능을 유지하면서 코어당 메모리 오버헤드를 최소화하는 병렬 CH 전처리 알고리즘을 설계한다.
• CH 전처리 중 우선순위 큐 데이터 구조에서 캐시 국소성을 향상시켜 메모리 액세스 지연을 줄인다.
• 메모리 계층을 활용한 실질적 구현이 실제 환경에서 이론적 PRAM 최적화 알고리즘을 능가할 수 있음을 보여준다.
• 코어당 메모리 소비를 일정한 384 KB로 줄임으로써 행성 규모의 도로 네트워크에 대한 효율적인 전처리를 가능하게 한다.
• 탭루레이션 해싱이 CH 전처리에서의 티브레이킹 및 우선순위 큐 저장소에 미치는 영향을 평가한다.

제안 방법

• 이 방법은 코어당 384 KB만을 사용하여 캐시 효율적인 우선순위 큐 티브레이킹 메커니즘을 실현하기 위해 탭루레이션 해싱을 사용한다.
• 노드 우선순위를 크기가 32,768인 압축된 저장 테이블에 매핑하기 위해 테이블 룩업과 XOR 연산을 기반으로 한 해시 함수를 적용한다.
• 각 코어가 O(1)의 추가 공간을 사용하는 공유 메모리 병렬 모델을 활용하여 다중 코어 시스템에서 효율적인 확장성을 확보한다.
• 정착 노드 수에 고정된 제한을 두고 시행하는 워치맨 검색을 통해 수축 우선순위를 결정함으로써 전처리 효율성을 보장한다.
• 우선순위 큐 데이터를 저장하기 위해 15비트 해시 테이블(2^15 항목)을 사용하여 충돌을 최소화하면서도 전체 범위 테이블 대비 50%의 메모리 소비 감소를 달성한다.
• 구현은 C++로 작성되었으며, GCC -O3 최적화를 사용했으며, 128 GB RAM을 갖춘 AMD Opteron 8코어 시스템에서 평가되었다.

실험 결과

연구 질문

• RQ1 캐시에 민감한 설계가 실제로 CH 전처리에서 PRAM 최적화 이론적 데이터 구조를 능가할 수 있는가?
• RQ2 탭루레이션 해싱은 병렬 CH 전처리에서 우선순위 큐 저장소의 성능과 메모리 효율성에 어떤 영향을 미치는가?
• RQ3 대규모 도로 네트워크에서 경쟁적인 전처리 시간을 확보하기 위해 필요한 최소한의 코어당 메모리 오버헤드는 얼마인가?
• RQ4 간단한 해시 함수를 사용함에도 불구하고 최적화된 데이터 구조를 통해 캐시 국소성을 활용하면 전처리 시간이 감소하는가?
• RQ5 그래프 크기가 증가함에 따라 최적화된 구현과 이론적 모델 간의 성능 격차는 어떻게 변화하는가?

주요 결과

• 탭루레이션 해싱 기반의 구현(xorbreak)은 Boost의 unordered_map과 Google의 dense_hash_map을 모두 능가하는 가장 빠른 전처리 시간을 기록했다.
• 행성 규모의 도로 네트워크에서 xorbreak는 기준선 bias-array 방법 대비 전처리 시간을 15,815.10초로 단축시켰다. 이는 baseline의 21,873.58초 대비 빠른 성능을 의미한다.
• 행성 규모 그래프에서 xorbreak와 xorhash 간의 성능 격차는 단지 2%로 좁혀졌으며, 이는 데이터 크도 증가함에 따라 높은 안정성을 보임을 시사한다.
• xorhash 변형은 코어당 단지 384 KB만을 사용하여 그래프 크기와 관계없이 일정한 메모리 오버헤드를 유지했으며, 이는 캐시 결함에 대한 내성 향상에 기여했다.
• Boost와 Google의 해시 테이블 구현은 18시간 이내에 행성 규모 전처리를 완료하지 못했으며, 이는 확장성의 한계를 드러냈다.
• 결과적으로 실질적인 캐시에 민감한 설계가 간단한 해시 함수를 사용함에도 불구하고 실제 환경에서 이론적 PRAM 최적화 알고리즘을 능가할 수 있음을 보여주었다.