[논문 리뷰] Optimizing Cache Performance for Graph Analytics.

Yunming Zhang, Vladimir Kiriansky외 3명|arXiv (Cornell University)|2016. 08. 03.

Graph Theory and Algorithms참고 문헌 34인용 수 11

한 줄 요약

이 논문은 그래프 분석에서 캐시 활용도를 크게 향상시키기 위해 빈도 기반 클러스터링과 CSR 세그먼테이션이라는 두 가지 캐시 최적화 기법을 제안한다. PageRank 및 레이블 전파와 같은 워크로드에서 기존 최고 성능 프레임워크 대비 최대 4배의 성능 향상을 이룰 수 있으며, 캐시 액세스 패턴을 재구성함으로써 런타임 오버헤드를 최소화한다.

ABSTRACT

Modern hardware systems are heavily underutilized when running large-scale graph applications. While many in-memory graph frameworks have made substantial progress in optimizing these applications, we show that it is still possible to achieve up to 4 $ imes$ speedups over the fastest frameworks by greatly improving cache utilization. Previous systems have applied out-of-core processing techniques from the memory/disk boundary to the cache/DRAM boundary. However, we find that blindly applying such techniques is ineffective because of the much smaller performance gap between DRAM and cache. We present two techniques that take advantage of the cache with minimal or no instruction overhead. The first, frequency based clustering, groups together frequently accessed vertices to improve the utilization of each cache line with no runtime overhead. The second, CSR segmenting, partitions the graph to restrict all random accesses to the cache, makes all DRAM access sequential, and merges partition results using a very low overhead cache-aware merge. Both techniques can be easily implemented on top of optimized graph frameworks. Our techniques combined give speedups of up to 4 $ imes$ for PageRank, Label Propagation and Collaborative Filtering, and 2 $ imes$ for Betweenness Centrality over the best published results

연구 동기 및 목표

• 최근 인메모리 프레임워크의 발전에도 불구하고 대규모 그래프 분석에서 현대 하드웨어의 활용도가 낮다는 문제를 해결하기 위해.
• DRAM과 캐시 간 성능 격차가 메모리와 디스크 간 격차만큼 크지 않기 때문에, 캐시 활용도를 향상시키기 위해 그래프 워크로드에서의 캐시 성능을 개선하기 위해.
• 기존의 아웃오브코어 기법의 한계를 피하기 위해 지침 오버헤드를 최소화하면서 캐시 사용을 최적화하는 기법을 설계하기 위해.
• PageRank, 레이블 전파, 중심성 중심성 계산과 같은 그래프 분석 워크로드에서 뚜렷한 성능 향상을 이끌어내기 위해.

제안 방법

• 빈도 기반 클러스터링은 자주 액세스되는 정점들을 함께 묶어 캐시 라인 활용도를 높이며, 런타임 오버헤드 없이 캐시 미스를 줄인다.
• CSR 세그먼테이션은 그래프를 세그먼트로 분할하여 캐시 내 랜덤 액세스를 제한함으로써, 모든 DRAM 액세스를 순차적으로 보장한다.
• 이 기법은 낮은 오버헤드를 지닌 캐시 인식형 병합을 사용해 서로 다른 세그먼트의 결과를 효율적으로 통합한다.
• 두 기법은 기존 최적화된 그래프 프레임워크에 큰 아키텍처 변경 없이 쉽게 통합될 수 있도록 설계되어 있다.
• 기존 아웃오브코어 기법이 효과가 없어지는 이유는 캐시-DRAM 간 성능 격차가 메모리-디스크 격차만큼 크지 않기 때문이다.
• 시스템은 캐시 계층 내에서 공간적 및 시간적 국소성을 극대화하기 위해 데이터 레이아웃과 액세스 패턴을 최적화한다.

실험 결과

연구 질문

• RQ1 DRAM과 캐시 간 성능 격차가 메모리와 디스크 격차만큼 크지 않은 상황에서, 캐시 인식 최적화가 그래프 분석에서 상당한 성능 향상을 이룰 수 있는가?
• RQ2 그래프 데이터 구조를 어떻게 재구성하면 런타임 비용을 최소화하면서 캐시 라인 활용도를 향상시킬 수 있는가?
• RQ3 분할 및 레이아웃 변환을 통해 얼마나 많은 랜덤 메모리 액세스를 줄이고 순차적 액세스 패턴을 향상시킬 수 있는가?
• RQ4 PageRank 및 레이블 전파와 같은 실제 워크로드에서 캐시 중심 최적화를 통해 어떤 성능 향상이 달성될 수 있는가?

주요 결과

• 제안된 기법들은 PageRank, 레이블 전파, 협업 필터링에 대해 기존에 발표된 최고 성능 결과 대비 최대 4배의 성능 향상을 달성한다.
• 중심성 중심성 계산은 2배의 성능 향상을 보이며, 고도로 비정규적인 메모리 액세스 패턴을 가진 알고리즘에도 효과적임을 입증한다.
• 빈도 기반 클러스터링은 자주 액세스되는 정점들을 함께 위치시켜 캐시 라인 활용도를 향상시키며, 런타임 비용 없이 캐시 미스를 줄인다.
• CSR 세그먼테이션은 그래프를 분할함으로써 모든 DRAM 액세스를 순차적으로 만들며, 랜덤 액세스 오버헤드를 최소화한다.
• 두 기법의 조합은 가장 높은 성능 향상을 제공하며, 캐시 활용도에서 상호 보완적 이점을 보여준다.
• 이 기법들은 경량이며, 기존 최적화된 그래프 프레임워크에 최소한의 엔지니어링 노력으로 쉽게 후킹할 수 있다.