[논문 리뷰] Adaptive Work-Efficient Connected Components on the GPU

Michael Sutton, Tal Ben‐Nun외 3명|arXiv (Cornell University)|2016. 12. 04.

Parallel Computing and Optimization Techniques참고 문헌 3인용 수 3

한 줄 요약

이 논문은 수정된 Hook-Compress 접근 방식을 사용하여 적응형이며 작업 효율적인 GPU 구현을 제시한다. Compress 연산을 하나의 Multi-Jump 커널으로 융합하고, 그래프의 차수에 따라 엣지를 동적으로 분할하여 원자적 경쟁을 줄이고 CPU-GPU 왕복을 최소화함으로써, 다양한 그래프 유형에서 최상위 수준의 GPU CC 구현보다 최대 6.76배의 성능 향상을 달성한다.

ABSTRACT

This report presents an adaptive work-efficient approach for implementing the Connected Components algorithm on GPUs. The results show a considerable increase in performance (up to 6.8$ imes$) over current state-of-the-art solutions.

연구 동기 및 목표

• 높은 원자적 경쟁과 빈번한 CPU-GPU 동기화로 인해 기존 GPU 연결 컴포넌트 알고리즘의 성능에 제약이 있는 문제를 해결하기 위해.
• 중복 작업을 최소화하고 메모리 액세스 오버헤드를 줄여 병렬 그래프 처리에서의 작업 효율성을 향상시키기 위해.
• 평균 차수와 연결성 패턴과 같은 그래프 특성에 따라 동적으로 조정 가능한 GPU 네이티브 적인 알고리즘을 설계하기 위해.
• 다중 순차적 커널 실행이 필요 없도록 Compress 연산을 하나의 확장 가능한 커널으로 융합하기 위해.

제안 방법

• 다양한 Jump 연산을 하나의 병렬 커널로 융합하는 Multi-Jump 커널을 도입하여 커널 실행 오버헤드를 줄이고 메모리 코alescing를 향상시킨다.
• 원자적 비교 및 스왑 연산을 사용하여 동시 업데이트 상황에서도 정확성을 보장하는 원자적 Hook 커널을 제안한다. 이는 전역 동기화 없이도 가능하다.
• 평균 차수에 기반하여 엣지 리스트를 약 2|E|/|V|개의 세그먼트로 분할하는 동적 분할 전략을 적용하여 원자적 경쟁과 Compress 비용을 균형 잡는다.
• Multi-Jump에서 부분 순서 스케줄링을 적용하여 더 높은 인덱스의 정점(루트에 가까운 정점)을 우선 처리함으로써 메모리 액세스 패턴을 향상시키고 분기 분산을 줄인다.
• 원자 연산 비용과 Compress 오버헤드를 균형 잡기 위해 히우리스틱 기반의 세그먼트 크기 2|E|/|V|를 적용하여 그래프 밀도에 따라 적응한다.
• 최적화된 커널을 호스트 측 루프에 통합하여 분할된 Atomic-Hook 단계와 전체 Multi-Jump 단계를 번갈아 실행함으로써 적응형 수렴을 가능하게 한다.

실험 결과

연구 질문

• RQ1 원자적 연산과 커널 실행 오버헤드를 줄임으로써 GPU 기반 연결 컴포넌트의 작업 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 Hook-Compress 알고리즘에서 원자적 경쟁과 Compress 비용을 균형 잡기 위해 최적의 엣지 세그먼트 수는 얼마인가?
• RQ3 여러 개의 Compress 연산을 하나의 커널으로 융합하면 비정규 그래프 워크로드에서 성능 병목 현상을 크게 줄일 수 있는가?
• RQ4 그래프의 차수에 기반한 동적 분할 전략이 다양한 그래프 유형에서 수렴 속도와 확장성에 어떤 영향을 미치는가?
• RQ5 장치 중심의 커널 설계는 비정규 그래프 알고리즘에서 CPU-GPU 왕복 횟수를 얼마나 줄이고 전체 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 적응형 알고리즘은 다양한 그래프 워크로드에서 기준 Soman et al. [3] 구현보다 최대 6.76배의 성능 향상을 달성한다.
• Multi-Jump 최적화는 커널 실행 오버헤드를 줄이고 메모리 액세스 패턴을 향상시켜 모든 그래프 유형에서 일관되게 성능 향상을 이룬다.
• 동적 분할을 적용한 Atomic-Hook는 저차수 그래프에서 가장 높은 성능 향상을 보이며, 예를 들어 USA OSM에서 4.15배의 성능 향상을 기록한다. 이는 원자적 경쟁이 가장 심각한 영역이다.
• 최적의 분할 크기인 2|E|/|V|는 모든 테스트된 그래프에서 일관되게 최고의 성능을 내며, 히우리스틱 설계의 타당성을 입증한다.
• 고차수 그래프인 kron-logn21 및 soc-live-journal에서는 Multi-Jump 최적화가 미미한 영향을 미치며(각각 1.02배 및 1.14배), 이는 O(|V|) 수준의 Compress 비용이 O(|E|) 수준의 Hook 비용에 비해 상대적으로 작기 때문이다.
• 적응형 접근은 GPU에서 모든 작업을 수행함으로써 CPU-GPU 왕복 횟수를 최소화하여 확장성 향상과 지연 감소를 달성한다.