[논문 리뷰] Efficient Hybrid Execution of C++ Applications using Intel(R) Xeon Phi(TM) Coprocessor

Jǐŕı Dokulil, Enes Bajrović외 4명|arXiv (Cornell University)|2012. 11. 23.

Parallel Computing and Optimization Techniques참고 문헌 9인용 수 7

한 줄 요약

이 논문은 C++ 응용 프로그램을 인텔 Xeon Phi 공처리기에서 효율적인 하이브리드 실행을 가능하게 하는 C++ 라이브러리를 제시한다. 이 방법은 작업을 동적으로 호스트 CPU와 하나 이상의 공처리기 사이에 분배함으로써 태스크 병렬 처리를 활용하며, Intel TBB와 컴파일러 오프로딩을 통해 단일 소스 코드로 높은 성능을 달성한다. 스무드드 파티클 유체역학(SPH)을 사용한 유체 시뮬레이션에서 최대 2.5배의 성능 향상을 입증한다.

ABSTRACT

The introduction of Intel(R) Xeon Phi(TM) coprocessors opened up new possibilities in development of highly parallel applications. The familiarity and flexibility of the architecture together with compiler support integrated into the Intel C++ Composer XE allows the developers to use familiar programming paradigms and techniques, which are usually not suitable for other accelerated systems. It is now easy to use complex C++ template-heavy codes on the coprocessor, including for example the Intel Threading Building Blocks (TBB) parallelization library. These techniques are not only possible, but usually efficient as well, since host and coprocessor are of the same architectural family, making optimization techniques designed for the Xeon CPU also beneficial on Xeon Phi. As a result, highly optimized Xeon codes (like the TBB library) work well on both. In this paper we present a new parallel library construct, which makes it easy to apply a function to every member of an array in parallel, dynamically distributing the work between the host CPUs and one or more coprocessor cards. We describe the associated runtime support and use a physical simulation example to demonstrate that our library construct can be used to quickly create a C++ application that will significantly benefit from hybrid execution, simultaneously exploiting CPU cores and coprocessor cores. Experimental results show that one optimized source code is sufficient to make the host and the coprocessors run efficiently.

연구 동기 및 목표

• 호스트 CPU와 Xeon Phi 공처리기 간에 효율적인 하이브리드 실행을 가능하게 하기 위해.
• 호스트와 공처리기 실행을 둘 다 대상으로 삼는 단일 소스 코드를 허용함으로써 개발을 단순화하기 위해.
• 이질적 시스템에서 데이터 전송, 작업 스케줄링, 작업 분배의 복잡성을 줄이기 위해.
• 저수준 GPU 스타일 프로그래밍 없이도 최적화된 이식 가능한 C++ 코드가 Xeon Phi에서 높은 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 저자들은 호스트와 공처리기에서 병렬적으로 시퀀스의 각 요소에 함수를 적용하는 새로운 C++ 라이브러리 구조인 `offload_for_each`를 구현한다.
• 작업은 Intel TBB 태스크 스케줄러를 사용하여 동적으로 분배되며, 이는 호스트와 공처리기 코어 간의 로드 밸런싱을 관리한다.
• 데이터 전송은 이중 버퍼링을 사용하여 최적화되어 지연 시간을 줄이고 처리량을 향상시킨다.
• 라이브러리는 인텔 C++ 컴포저 XE 컴파일러의 오프로딩 지원과 통합되어, 호스트와 공처리기에서 모두 원활한 컴파일 및 실행을 가능하게 한다.
• SPH 시뮬레이션에서 메모리 액세스 패턴을 최적화하기 위해 공간 색인 구조가 사용된다.
• 시뮬레이션과 렌더링이 병행되어 지연 시간을 숨기기 위해 두 단계 파이프라인을 사용한다.

실험 결과

연구 질문

• RQ1 저수준 코드 특수화 없이도 단일 C++ 소스 코드로 호스트 CPU와 Xeon Phi 공처리기를 효율적으로 활용할 수 있는가?
• RQ2 TBB 태스크 스케줄링을 사용한 동적 작업 분배가 하이브리드 CPU-GPU 유사 환경에서 얼마나 효과적인가?
• RQ3 Xeon Phi에서 하이브리드 실행을 통해 데이터 병렬 워크로드인 SPH에서 어떤 성능 향상이 달성될 수 있는가?
• RQ4 메모리 액세스 패턴과 데이터 레이아웃은 전통적인 CPU에 비해 Xeon Phi에서 성능에 어떤 영향을 미치는가?
• RQ5 아키텍처 유사성 덕분에 Xeon CPU용 최적화 기법이 Xeon Phi에서도 효과적으로 재사용될 수 있는가?

주요 결과

• 하이브리드 실행 모델인 `offload_for_each`는 하나의 Xeon Phi 공처리기를 사용할 경우 호스트 전용 실행 대비 최대 2.5배의 성능 향상을 달성했으며, 두 개의 공처리기를 사용할 경우 최대 3.5배의 성능 향상을 기록했다.
• 문제 크기에 따라 성능이 스케일링되었다: 입자 수가 많아질수록 공처리기 병렬 처리의 활용도가 높아지고 상대적인 메모리 전송 비용이 감소하여 더 큰 성능 향상이 발생했다.
• 이중 버퍼링을 통한 데이터 전송 최적화로 지연 시간이 감소하고 처리량이 향상되었으며, 특히 파이프라인 시뮬레이션 및 렌더링 워크로드에서 두드러졌다.
• 공간 색인 구조는 캐시 효율성을 크게 향상시키고 중복 계산을 줄여 전체 성능 향상에 기여했다.
• 표준 도구로 호스트에서 전체적으로 디버깅 및 최적화가 가능했기 때문에 응용 프로그램의 디버깅과 최적화가 더 쉬웠다.
• Xeon과 Xeon Phi 간의 아키텍처 유사성 덕분에 기존에 CPU에 최적화된 라이브러리인 TBB가 수정 없이도 공처리기에서 효율적으로 작동했다.