[论文解读] A Metric for Performance Portability

S. J. Pennycook, Jason Sewall+1 more|arXiv (Cornell University)|Nov 22, 2016

Parallel Computing and Optimization Techniques参考文献 19被引用 44

一句话总结

本文提出了一项定量指标——性能可移植性（PP），以客观衡量和比较不同硬件平台下应用程序的性能与可移植性。通过将应用程序效率与架构效率结合为单一、标准化的度量指标，作者展示了该指标在实现不同编程模型和优化策略之间公平、数据驱动的比较方面的实用性，从而解决了以往关于性能可移植性的定性声明中存在的模糊性。

ABSTRACT

The term "performance portability" has been informally used in computing to refer to a variety of notions which generally include: 1) the ability to run one application across multiple hardware platforms; and 2) achieving some notional level of performance on these platforms. However, there has been a noticeable lack of consensus on the precise meaning of the term, and authors' conclusions regarding their success (or failure) to achieve performance portability have thus been subjective. Comparing one approach to performance portability with another has generally been marked with vague claims and verbose, qualitative explanation of the comparison. This paper presents a concise definition for performance portability, along with a simple metric that accurately captures the performance and portability of an application across different platforms. The utility of this metric is then demonstrated with a retroactive application to previous work.

研究动机与目标

• 解决高性能计算中性能可移植性定义与评估缺乏共识和客观度量的问题。
• 提出一种标准化的定量指标（PP），以单一、可比较的方式同时捕捉性能与可移植性。
• 实现不同编程模型、框架和优化策略在多个平台上的公平、数据驱动比较。
• 通过回顾性分析先前的应用研究，验证该指标的实用性。
• 促进未来性能可移植性研究中共享术语和客观基准。

提出的方法

• 将性能可移植性定义为应用程序在多个平台上实现可接受性能的能力，重点关注客观、可度量的标准。
• 引入两种互补的效率度量：相对于已知最优实现的应用程序效率，以及相对于峰值理论性能的架构效率。
• 将这两种效率结合为统一指标：PP =（应用程序效率）×（架构效率），以表示整体性能可移植性。
• 将该指标回溯应用于已发表的案例研究，以验证其在比较不同编程模型和优化技术方面的准确性和实用性。
• 强调PP值必须与所使用的具体平台和问题一同报告，以确保有意义的解释并避免误读。
• 倡导同时使用应用程序效率和架构效率，以提供更完整的视图，因为两者分别揭示了性能开销的不同方面。

实验结果

研究问题

• RQ1 如何以一种在不同应用和平台间一致的方式，客观地定义和度量性能可移植性？
• RQ2 单一标准化指标在多大程度上能准确反映多样化高性能计算工作负载中的性能与可移植性？
• RQ3 所提出的指标在多大程度上提升了不同编程模型和优化策略之间结果的可比性？
• RQ4 该指标能否有意义地应用于先前研究，以揭示定性评估中未显现的洞察？
• RQ5 仅使用架构效率或仅使用应用程序效率存在哪些局限性？如何结合两者以提升评估的完整性？

主要发现

• 所提出的PP指标为跨不同应用和平台评估性能可移植性提供了一致、客观且可量化的途径。
• 将该指标回溯应用于先前研究，揭示了性能可移植性存在显著差异，凸显了标准化基准的价值。
• 应用程序效率更能反映抽象层带来的实际性能开销，而架构效率在缺乏最优实现时尤为有用。
• 该指标表明，以往研究中关于性能可移植性的声明往往具有主观性，且因评估标准不一致而缺乏可比性。
• 结合应用程序效率与架构效率，可提供比单独使用任一指标更完整、更具信息量的评估。
• 作者结论认为，该指标的采用对于推动性能可移植性研究领域内富有成效的、基于证据的讨论与协作至关重要。