[논문 리뷰] A New Data Layout For Set Intersection on GPUs

Rasmus Resen Amossen, Rasmus Pagh|arXiv (Cornell University)|2011. 02. 04.

Data Mining Algorithms and Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 희박한 데이터셋에서 빈번한 쌍 탐색을 위한 고속 집합 교차 연산을 가능하게 하는 새로운 GPU 최적화 데이터 레이아웃인 BatMap을 소개한다. 일반화된 쿠키헤싱 기반의 압축되고 병렬 처리에 유리한 형식으로 집합을 정렬함으로써, BatMap은 CPU 구현 대비 최대 5배의 성능 향상을 달성하며, 특히 많은 빈번한 항목을 포함한 대규모 밀도 높은 데이터에서 전통적인 비트맵 및 병합 기반 방법을 능가한다.

ABSTRACT

Set intersection is the core in a variety of problems, e.g. frequent itemset mining and sparse boolean matrix multiplication. It is well-known that large speed gains can, for some computational problems, be obtained by using a graphics processing unit (GPU) as a massively parallel computing device. However, GPUs require highly regular control flow and memory access patterns, and for this reason previous GPU methods for intersecting sets have used a simple bitmap representation. This representation requires excessive space on sparse data sets. In this paper we present a novel data layout, "BatMap", that is particularly well suited for parallel processing, and is compact even for sparse data. Frequent itemset mining is one of the most important applications of set intersection. As a case-study on the potential of BatMaps we focus on frequent pair mining, which is a core special case of frequent itemset mining. The main finding is that our method is able to achieve speedups over both Apriori and FP-growth when the number of distinct items is large, and the density of the problem instance is above 1%. Previous implementations of frequent itemset mining on GPU have not been able to show speedups over the best single-threaded implementations.

연구 동기 및 목표

• 특히 전통적인 비트맵 표현이 메모리 비효율적인 희박한 데이터셋에서 GPU에서의 집합 교차 연산 성능 저하 문제를 해결하기 위해.
• GPU 병렬 처리를 극대화하기 위해 고정된 메모리 접근 및 제어 흐름을 보장하는 데이터 레이아웃을 설계하기 위해.
• 기존 GPU 기반 접근 방식이 단일 스레드 CPU 구현을 능가하지 못하던 점을 감안해, 확장 가능한 빈번한 항목집합 탐색—특히 빈번한 쌍 탐색—을 GPU에서 수행할 수 있도록 하기 위해.
• 희박 부울 행렬 곱셈 및 연관 규칙 탐색과 같은 복잡하고 데이터 집약적인 워크로드에서도 GPU 가속이 효과적일 수 있음을 보여주기 위해.

제안 방법

• GPU 메모리 계층을 고려해 압축되고 캐시 우수한 형식으로 집합을 저장하기 위해 일반화된 쿠키헤싱 기반의 새로운 데이터 레이아웃인 BatMap을 제안한다.
• 교차 연산을 16×16 타일로 분할하여 공유 메모리의 효율적 사용과 글로벌 메모리 접근 지연의 최소화를 가능하게 한다.
• 각 스레드 블록이 교차 행렬의 타일을 처리하도록 하며, 워프 수준의 기초 명령어를 활용해 비트 수를 효율적으로 세는 비트 수준의 병렬 처리 전략을 적용한다.
• 하이브리드 접근 방식을 사용한다: 작은 집합의 경우 압축된 형식으로 직접 요소를 저장하고, 더 큰 집합의 경우 다중 해시 테이블을 사용한 희박 표현을 통해 충돌을 줄이고 로드 밸런싱을 향상시킨다.
• 병렬 처리를 최적화하기 위해 popcount 명령어 기반의 카운팅 기법을 적용하여 분기 분열을 최소화하고 처리량을 극대화한다.
• 글로벌 메모리 트랜잭션의 코alescing과 글로벌 메모리 및 공유 메모리 간의 중복 데이터 이동 최소화를 통해 메모리 접근을 최적화한다.

실험 결과

연구 질문

• RQ1 희박한 데이터셋에서 메모리 사용을 압축하면서도 GPU에서 효율적이고 확장 가능한 집합 교차 연산을 가능하게 하는 새로운 데이터 레이아웃을 설계할 수 있는가?
• RQ2 특히 서로 다른 항목 수가 많을 경우, GPU 병렬 처리를 얼마나 효과적으로 활용하여 단일 스레드 CPU 구현을 능가할 수 있는가?
• RQ3 GPU 및 CPU 아키텍처에서 BatMap의 성능이 기존 비트맵 및 정렬된 리스트 병합 방법과 비교해 어떻게 되는가?
• RQ4 제안된 데이터 레이아웃을 두 개 이상의 집합 교차에 확장할 수 있으며, 그 경우의 메모리 및 성능 트레이드오프는 어떠한가?

주요 결과

• BatMap은 GPU에서 36.2 GB/s의 처리 속도를 달성했으며, CPU의 최대 처리량 7.6 GB/s보다 거의 5배 빠르다. 이는 CPU 오버헤드를 배제한 상태에서도 성립한다.
• GPU 구현의 BatMap은 3.68×10⁹개의 집합 요소를 매초 처리하며, 단일 코어 CPU 구현의 2.25×10⁸개 요소/초보다 약 13배 이상 빠르다.
• 8개의 CPU 코어를 사용할 경우 처리 속도는 1.71×10⁹개 요소/초에 이르지만, 여전히 GPU 처리량의 29~57%에 불과하여 뚜렷한 성능 격차를 보인다.
• 이 방법은 수천 개의 항목과 1% 이상의 밀도를 가진 데이터셋에서도 빈번한 쌍 탐색을 확장 가능하게 하며, 이전 GPU 방법이 단일 스레드 CPU 코드를 능가하지 못하던 영역에서도 성능을 확보한다.
• 비트맵 대비 압축된 표현을 통해 메모리 사용을 줄였으며, 라운딩 효과가 유리할 경우 단위 메모리당 최대 63% 더 많은 요소를 처리할 수 있다.
• 저자들은 그들의 접근 방식이 GPU 메모리 대역폭을 아직 포화 상태로 이르지 못하고 있음을 결론 내리며, 향후 최적화 여지가 있으며 대규모 데이터 마이닝 워크로드에 광범위하게 적용 가능할 것으로 보고 있다.