[논문 리뷰] Space-filling Curves for High-performance Data Mining

Christian Böhm|arXiv (Cornell University)|2020. 08. 04.

Algorithms and Data Compression참고 문헌 17인용 수 4

한 줄 요약

이 논문은 기존의 로그 시간 복잡도와 2의 거듭제곱 그리드 제약 조건을 초월하여 캐시 무관(cached-oblivious) 데이터 액세스를 가능하게 하는 최적화된 힐버트 곡선 알고리즘—FUR-Hilbert-Loop 및 FGF-Hilbert-Loop—을 제시한다. 이 방법들은 공간 충만 곡선 순회를 선형 시간에 생성하며, 행렬 곱셈, k-평균 군집화, 유사도 조인과 같은 알고리즘에서 캐시 미스를 크게 감소시킨다.

ABSTRACT

Space-filling curves like the Hilbert-curve, Peano-curve and Z-order map natural or real numbers from a two or higher dimensional space to a one dimensional space preserving locality. They have numerous applications like search structures, computer graphics, numerical simulation, cryptographics and can be used to make various algorithms cache-oblivious. In this paper, we describe some details of the Hilbert-curve. We define the Hilbert-curve in terms of a finite automaton of Mealy-type which determines from the two-dimensional coordinate space the Hilbert order value and vice versa in a logarithmic number of steps. And we define a context-free grammar to generate the whole curve in a time which is linear in the number of generated coordinate/order value pairs, i.e. a constant time per coordinate pair or order value. We also review two different strategies which enable the generation of curves without the usual restriction to square-like grids where the side-length is a power of two. Finally, we elaborate on a few applications, namely matrix multiplication, Cholesky decomposition, the Floyd-Warshall algorithm, k-Means clustering, and the similarity join.

연구 동기 및 목표

• 기존에 로그 시간 복잡도가 필요한 힐버트 곡선 순서 값과 좌표 간의 변환 계산 비용을 낮추기 위해.
• 그리드 치수가 2의 거듭제곱이어야 하는 제약 조건을 제거하여 임의의 크기의 데이터 그리드에 적용 가능하게 하기 위해.
• 공간 충만 곡선 순회 순서를 활용하여 기본적인 데이터 마이닝 연산을 위한 효율적인 캐시 무관 알고리즘을 설계하기 위해.
• 지역성 유지 순회 패턴을 통해 메모리 기반 알고리즘의 성능을 향상시키고 캐시 미스를 최소화하기 위해.
• 곡선 기반 액세스 순서를 사용하여 데이터 마이닝 워크로드의 효율적 병렬 처리 및 벡터화(SIMD/MIMD)를 가능하게 하기 위해.

제안 방법

• 좌표에서 순서, 순서에서 좌표로의 매핑을 로그 시간 내에 계산할 수 있도록, 메일리 유형 유한 오토마타를 정의하여 힐버트 곡선을 정의한다.
• 전체 힐버트 곡선을 선형 시간에 생성할 수 있는 문맥 자유 문법을 도입하여, 각 좌표 쌍에 대해 일정 시간 내에 생성 가능하게 한다.
• 비2의 거듭제곱 그리드를 처리하기 위해 4×4 서브그리드로 타일링하고 동적으로 곡선 세그먼트를 계산하는 오버레이 그리드 방법을 사용한 FUR-Hilbert-Loop를 제안한다.
• 사전에 계산된 나노 프로그램을 64비트 변수에 저장하여 불필요하거나 관련 없는 그리드 셀을 건너뛰는 점프-오버 방법을 사용한 FGF-Hilbert-Loop를 개발한다.
• 모든 방향에서 4×4 그리드에 대한 압축된 사전 계산된 곡선 세그먼트인 나노 프로그램을 사용하여 순회를 가속화하고 런타임 오버헤드를 감소시킨다.
• 행렬 곱셈, 콜레스키 분해, 플로이드-워셜, k-평균, 유사도 조인과 같은 고성능 알고리즘에 곡선 기반 순회를 통합하여 캐시 무관 실행을 가능하게 한다.

실험 결과

연구 질문

• RQ1 좌표에서 순서, 순서에서 좌표로의 변환을 로그 시간 복잡도 없이 효율적으로 계산할 수 있는 방법은 무엇인가?
• RQ2 공간 충만 곡선 응용에서 그리드 치수가 반드시 2의 거듭제곱이어야 하는 제약 조건을 제거할 수 있는 기법은 무엇인가?
• RQ3 공간 충만 곡선을 사용하여 데이터 마이닝 알고리즘을 캐시 무관으로 만들 수 있는가? 이는 다양한 캐시 크기에서 성능 향상에 기여하는가?
• RQ4 나노 프로그램과 빠른 순회 메커니즘은 곡선 기반 데이터 액세스 패턴에서 런타임 오버헤드를 어떻게 감소시킬 수 있는가?
• RQ5 유사도 조인 및 행렬 연산과 같은 실세계 데이터 마이닝 워크로드에서 힐버트 곡선 기반 순회 방식은 성능 향상에 어느 정도 기여하는가?

주요 결과

• FUR-Hilbert-Loop는 4×4 서브그리드로 타일링하고 오버레이 기반 곡선 계산을 사용하여 임의의 크기의 그리드에 대한 효율적 순회를 가능하게 하며, 2의 거듭제곱 제약 조건을 제거한다.
• 점프-오버 기능을 갖춘 FGF-Hilbert-Loop는 순서 값과 좌표 쌍 간의 1:1 매핑을 유지하면서도 희소 또는 인덱싱된 데이터의 빠른 캐시 효율적 순회를 가능하게 한다.
• 64비트 변수에 저장된 나노 프로그램은 반복 연산을 직접 검색으로 대체하여 곡선 순회를 가속화하고 런타임 오버헤드를 감소시킨다.
• 힐버트 곡선 기반 순회를 사용함으로써 표준 이중 루프 액세스 패턴 대비 캐시 미스가 크게 감소했으며, 특히 주요 메모리의 5–20% 범위의 실제 캐시 크기에서 두드러진 효과를 보였다.
• 유사도 조인 및 행렬 곱셈에서 힐버트 기반 액세스 패턴은 데이터 국소성 향상과 메모리 대역폭 압력 감소로 인해 상당한 성능 향상을 달성했다.
• 힐버트 순회와 SIMD 및 MIMD 병렬 처리를 통합함으로써 k-평균 군집화 및 GPU 기반 데이터 마이닝 워크로드에서 성능이 더욱 향상되었다.