[논문 리뷰] Comparative Performance Analysis of Intel Xeon Phi, GPU, and CPU

George Teodoro, Tahsin Kurç외 3명|arXiv (Cornell University)|2013. 11. 02.

Advanced Neural Network Applications참고 문헌 33인용 수 13

한 줄 요약

이 논문은 이미지 분석 워크로드에 대한 Intel Xeon Phi (MIC), GPU, 그리고 CPU 아키텍처의 성능을 비교하며, 데이터 접근 패턴과 병렬화 전략에 중점을 둡니다. 비정규적 메모리 접근 상황에서는 GPU가 MIC를 압도적으로 앞서며, 정규적 접근 패턴에서는 MIC가 GPU와 유사하거나 이를 초월함을 발견했습니다. 조율된 작업 스케줄링은 성능을 1.29배 향상시켜 192노드 클러스터(3072개 CPU 코어 및 192개 MIC 포함)에서 84%의 효율성을 달성했습니다.

ABSTRACT

We investigate and characterize the performance of an important class of operations on GPUs and Many Integrated Core (MIC) architectures. Our work is motivated by applications that analyze low-dimensional spatial datasets captured by high resolution sensors, such as image datasets obtained from whole slide tissue specimens using microscopy image scanners. We identify the data access and computation patterns of operations in object segmentation and feature computation categories. We systematically implement and evaluate the performance of these core operations on modern CPUs, GPUs, and MIC systems for a microscopy image analysis application. Our results show that (1) the data access pattern and parallelization strategy employed by the operations strongly affect their performance. While the performance on a MIC of operations that perform regular data access is comparable or sometimes better than that on a GPU; (2) GPUs are significantly more efficient than MICs for operations and algorithms that irregularly access data. This is a result of the low performance of the latter when it comes to random data access; (3) adequate coordinated execution on MICs and CPUs using a performance aware task scheduling strategy improves about 1.29x over a first-come-first-served strategy. The example application attained an efficiency of 84% in an execution with of 192 nodes (3072 CPU cores and 192 MICs).

연구 동기 및 목표

• CPU, GPU, Intel Xeon Phi (MIC) 아키텍처에서 핵심 이미지 분석 연산의 성능 평가 및 특성 분석.
• 데이터 접근 패턴과 병렬화 전략이 공처리기 간 성능에 미치는 영향 규명.
• 분산 메모리 시스템에서 CPU와 MIC의 조율된 실행을 성능 인식 작업 스케줄링 기법을 통해 조사.
• 운영 특성에 기반해 응용 프로그램 개발자가 최적의 공처리기를 선택하는 데 도움이 되는 가이드라인 제공.
• 하이브리드 CPU-MIC 클러스터를 사용한 실제 디지털 병리학 응용 프로그램에서의 높은 확장성 및 효율성 입증.

제안 방법

• CPU, GPU, MIC에서 핵심 이미지 분석 연산—데이터 정제, 객체 세분화, 특징 계산, 집계, 분류, 정렬—의 체계적 구현 및 벤치마킹.
• 데이터 접근 패턴 기반 운영 분류: 정규적(예: 스윕), 비정규적(예: 랜덤 액세스), 글로벌(예: 감소 연산).
• 공처리기 특성과 운영 행동 간 상관관계를 도출하기 위해 마이크로 커널 성능 측정 사용.
• CPU와 MIC 실행을 조율하기 위한 성능 인식 작업 스케줄링 전략 설계 및 평가로, 공백 시간과 통신 오버헤드 최소화.
• 192노드 클러스터(3072개 CPU 코어 및 192개 MIC 포함)에서 실제 디지털 병리학 응용 프로그램 실행을 통해 종단 간 효율성 측정.
• 실행 시간, 스피드업, 강한 확장성 효율성 등의 지표를 사용해 아키텍처 간 성능 비교.

실험 결과

연구 질문

• RQ1 다양한 데이터 접근 패턴(정규 대비 비정규)이 GPU, CPU, MIC에서 성능에 미치는 영향은 무엇인가요?
• RQ2 Intel Xeon Phi가 GPU 및 CPU 대비 우월하거나 열등한 상황은 언제인가요?
• RQ3 CPU와 MIC 간의 조율된 작업 스케줄링이 전체 응용 프로그램 성능과 확장성에 미치는 영향은 무엇인가요?
• RQ4 계산 강도와 병렬화 전략이 공처리기 유형 간 성능 이식성에 미치는 영향은 무엇인가요?
• RQ5 성능 인식 스케줄링이 하이브리드 CPU-MIC 클러스터에서 이미지 분석 워크로드의 효율성 향상에 얼마나 기여할 수 있나요?

주요 결과

• 비정규적 데이터 접근 패턴을 포함한 연산에서는 GPU가 MIC를 크게 앞서며, 특히 빈번한 원자 연산을 수반하는 경우 MIC의 랜덤 메모리 액세스 성능 열 劣로 인해 성능이 열 劣합니다.
• 정규적 데이터 접근 및 계산 패턴을 포함한 연산에서는 MIC의 성능가 GPU와 유사하거나 때로는 이를 초월합니다.
• 성능 인식 작업 스케줄링 전략은 CPU-MIC 조율 실행에서 선도-선점 방식 대비 응용 프로그램 성능을 1.29배 향상시켰습니다.
• 실제 디지털 병리학 응용 프로그램은 성능 인식 스케줄링 전략을 사용하여 192노드 클러스터(3072개 CPU 코어 및 192개 MIC 포함)에서 84%의 효율성을 달성했습니다.
• 계산 및 데이터 접근 패턴의 차이로 인해 운영 간 성능 변동성이 뚜렷하게 나타나, 운영 특성에 맞는 공처리기 선택이 필수적입니다.
• 결과는 접근 및 계산 특성에 기반해 운영을 가장 적합한 공처리기에 매핑하기 위한 실질적인 통찰을 제공합니다.