[論文レビュー] A Metric for Performance Portability

S. J. Pennycook, Jason Sewall+1 more|arXiv (Cornell University)|Nov 22, 2016

Parallel Computing and Optimization Techniques参考文献 19被引用数 44

ひとこと要約

本稿では、多様なハードウェアプラットフォーム間でのアプリケーションのパフォーマンスとポータビリティを客観的に測定・比較するための定量的指標、パフォーマンスポータビリティ（PP）を提案する。アプリケーション効率とアーキテクチャ効率を統合した単一の標準化された指標として、著者らは、異なるプログラミングモデルや最適化戦略における公平でデータ駆動型の比較を可能にし、パフォーマンスポータビリティに関する従来の定性的な主張の曖昧さを解消することを示した。

ABSTRACT

The term "performance portability" has been informally used in computing to refer to a variety of notions which generally include: 1) the ability to run one application across multiple hardware platforms; and 2) achieving some notional level of performance on these platforms. However, there has been a noticeable lack of consensus on the precise meaning of the term, and authors' conclusions regarding their success (or failure) to achieve performance portability have thus been subjective. Comparing one approach to performance portability with another has generally been marked with vague claims and verbose, qualitative explanation of the comparison. This paper presents a concise definition for performance portability, along with a simple metric that accurately captures the performance and portability of an application across different platforms. The utility of this metric is then demonstrated with a retroactive application to previous work.

研究の動機と目的

• ハイパフォーマンスコンピューティングにおけるパフォーマンスポータビリティの定義と評価について、合意形成がなく客観的測定が不足している問題に対処すること。
• パフォーマンスとポータビリティの両方を1つの比較可能な指標として捉える、標準化された定量的指標（PP）を提案すること。
• 複数のプラットフォーム間で、異なるプログラミングモデル、フレームワーク、最適化戦略の間で公平でデータ駆動型の比較を可能にすること。
• 過去のアプリケーション研究のリトロスペクティブな分析を通じて、この指標の実用性を示すこと。
• 今後のパフォーマンスポータビリティ分野の研究における共通の用語と客観的ベンチマークの促進を図ること。

提案手法

• パフォーマンスポータビリティを、複数のプラットフォームで妥当なパフォーマンスを達成できる能力として定義し、客観的で測定可能な基準に焦点を当てる。
• 2つの補完的効率指標を導入する：アプリケーション効率（既知の最適実装との相対的効率）とアーキテクチャ効率（理論ピーク性能との相対的効率）。
• これらの効率を統合し、PP = （アプリケーション効率）×（アーキテクチャ効率）という統一された指標として、全体的なパフォーマンスポータビリティを表現する。
• 発表済みの事例研究にこの指標をリトロスペクティブに適用し、異なるプログラミングモデルや最適化技術の比較における正確性と実用性を検証する。
• 意味のある解釈を可能にするために、PP値は、その値が報告された特定のプラットフォームと問題セットと併記されるべきであることを強調する。
• 両方の効率を併用することで、それぞれが異なるパフォーマンスオーバーヘッドの側面を明らかにするため、アプリケーション効率とアーキテクチャ効率の両方の使用を提唱する。

実験結果

リサーチクエスチョン

• RQ1 パフォーマンスポータビリティは、異なるアプリケーションやプラットフォーム間で一貫性を持たせるために、どのようにして客観的かつ測定可能な方法で定義・測定できるか？
• RQ2 1つの標準化された指標が、多様なHPCワークロードにおけるパフォーマンスとポータビリティの両方をどれほど正確に反映できるか？
• RQ3 提案された指標は、異なるプログラミングモデルや最適化戦略間での結果の比較性をどのように向上させるか？
• RQ4 この指標は、過去の研究に意味的に適用可能であり、定性的な評価では明らかでないインサイトを明らかにできるか？
• RQ5 単にアーキテクチャ効率のみ、またはアプリケーション効率のみを用いることの限界は何か？両方を併用することで評価をどのように改善できるか？

主な発見

• 提案されたPP指標は、異なるアプリケーションやプラットフォーム間で一貫性があり、客観的かつ定量的なパフォーランスポータビリティの評価を可能にする。
• 過去の研究にこの指標をリトロスペクティブに適用した結果、パフォーマンスポータビリティに顕著なばらつきが認められ、標準化されたベンチマークの価値が浮き彫りになった。
• アプリケーション効率は、抽象化による実世界のパフォーマンスオーバーヘッドをより的確に反映するが、最適実装が不明な場合にはアーキテクチャ効率が有用である。
• この指標は、従来の研究におけるパフォーマンスポータビリティに関する主張が、評価基準の不一致によりしばしば主観的で比較不能であったことを示している。
• アプリケーション効率とアーキテクチャ効率の両方を組み合わせることで、単独で用いるよりもより包括的で情報豊かな評価が可能になる。
• 著者らは、この指標の採用が、パフォーマンスポータビリティ分野における研究コミュニティにおける生産的で根拠に基づいた議論と協働を可能にするために不可欠であると結論づける。