[논문 리뷰] A Metric for Performance Portability

S. J. Pennycook, Jason Sewall외 1명|arXiv (Cornell University)|2016. 11. 22.

Parallel Computing and Optimization Techniques참고 문헌 19인용 수 44

한 줄 요약

이 논문은 다양한 하드웨어 플랫폼 간 응용 프로그램의 성능과 이식 가능성에 대해 객관적으로 측정하고 비교할 수 있는 정량적 지표인 성능 이식성(PP)을 제안한다. 응용 프로그램 효율성과 아키텍처 효율성을 하나의 표준화된 지표로 통합함으로써, 저자들은 다양한 프로그래밍 모델과 최적화 전략 간 공정하고 데이터 기반의 비교가 가능해졌음을 입증한다. 이는 이전의 성능 이식성에 대한 정성적 주장에서 발생하는 모호성을 해소한다.

ABSTRACT

The term "performance portability" has been informally used in computing to refer to a variety of notions which generally include: 1) the ability to run one application across multiple hardware platforms; and 2) achieving some notional level of performance on these platforms. However, there has been a noticeable lack of consensus on the precise meaning of the term, and authors' conclusions regarding their success (or failure) to achieve performance portability have thus been subjective. Comparing one approach to performance portability with another has generally been marked with vague claims and verbose, qualitative explanation of the comparison. This paper presents a concise definition for performance portability, along with a simple metric that accurately captures the performance and portability of an application across different platforms. The utility of this metric is then demonstrated with a retroactive application to previous work.

연구 동기 및 목표

• 고성능 컴퓨팅(HPC) 분야에서 성능 이식성의 정의와 평가에 있어 공감대 형성 부족과 객관적 측정 부족 문제를 해결하기 위해.
• 성능과 이식성을 하나의 비교 가능한 측정치로 통합한 표준화된 정량적 지표(PP)를 제안하기 위해.
• 다양한 플랫폼 간 다양한 프로그래밍 모델, 프레임워크 및 최적화 전략에 대해 공정하고 데이터 기반의 비교를 가능하게 하기 위해.
• 이전의 응용 프로그램 연구에 대해 후행 분석을 통해 지표의 유용성을 입증하기 위해.
• 향후 성능 이식성 분야의 연구를 위한 공통된 어휘와 객관적 벤치마킹을 촉진하기 위해.

제안 방법

• 응용 프로그램이 여러 플랫폼에서 수용 가능한 성능을 달성할 수 있는 능력으로 성능 이식성을 정의하며, 객관적이고 측정 가능한 기준을 중시한다.
• 응용 프로그램 효율성(기본 최적 구현 대비 상대적 효율성)과 아키텍처 효율성(최상 이론적 성능 대비 상대적 효율성)이라는 두 가지 상호보완적인 효율 측정법을 도입한다.
• 이 두 효율성을 통합하여 PP = (응용 프로그램 효율성) × (아키텍처 효율성)의 단일 지표로 성능 이식성의 종합적 수준을 표현한다.
• 이 지표를 이전에 발표된 사례 연구에 후행적으로 적용하여, 다양한 프로그래밍 모델과 최적화 기법 간 비교의 정확성과 유용성을 검증한다.
• 의미 있는 해석과 오해를 방지하기 위해, PP 값은 반드시 특정 플랫폼과 문제에 기반한 결과와 함께 보고되어야 한다고 강조한다.
• 각각의 효율 측정법이 성능 오버헤드의 다른 측면을 드러내므로, 응용 프로그램 효율성과 아키텍처 효율성을 동시에 사용하여 종합적인 평가를 제공할 것을 주장한다.

실험 결과

연구 질문

• RQ1 어떻게 다양한 응용 프로그램과 플랫폼 간에 일관된 방식으로 성능 이식성을 객관적으로 정의하고 측정할 수 있는가?
• RQ2 단일 표준화된 지표가 다양한 HPC 워크로드에서 성능과 이식성을 정확히 반영할 수 있는 정도는 어느 정도인가?
• RQ3 제안된 지표는 다양한 프로그래밍 모델과 최적화 전략 간 결과의 비교 가능성을 어떻게 향상시키는가?
• RQ4 이 지표는 이전 연구에 의미 있게 적용될 수 있으며, 정성적 평가로는 드러나지 않는 통찰을 제공할 수 있는가?
• RQ5 단지 아키텍처 효율성 또는 단지 응용 프로그램 효율성만을 사용할 경우의 한계는 무엇이며, 두 가지를 함께 사용하면 평가를 어떻게 향상시킬 수 있는가?

주요 결과

• 제안된 PP 지표는 다양한 응용 프로그램과 플랫폼 간 성능 이식성을 일관되고 객관적이며 정량적으로 평가할 수 있는 방법을 제공한다.
• 이전 연구에 대해 지표를 후행적으로 적용한 결과, 성능 이식성에 큰 변동성이 있음을 확인하였으며, 이는 표준화된 벤치마크의 가치를 부각시킨다.
• 응용 프로그램 효율성은 추상화로 인한 실제 성능 오버헤드를 더 잘 반영하며, 최적 구현이 알려지지 않은 경우 아키텍처 효율성이 유용하다.
• 지표를 통해 이전 연구에서 성능 이식성에 대한 주장이 종종 주관적이며 평가 기준의 일관성 부족으로 인해 비교가 어려웠음을 입증하였다.
• 응용 프로그램 효율성과 아키텍처 효율성을 함께 사용할 경우, 각각의 측정법만 사용하는 것보다 더 종합적이고 정보가 풍부한 평가가 가능하다.
• 저자들은 이 지표의 도입이 성능 이식성 연구 공동체 내에서 생산적이고 증거 기반의 논의와 협업을 가능하게 하기 위해 필수적이라고 결론 내린다.