[論文レビュー] Best practices for HPM-assisted performance engineering on modern multicore processors

Jan Treibig, Georg Hager+1 more|arXiv (Cornell University)|Jun 17, 2012

Parallel Computing and Optimization Techniques参考文献 12被引用数 6

ひとこと要約

本論文は、マルチコア科学的アプリケーションにおけるパフォーマンスボトルネックを特定・解決するために、ハードウェアパフォーマンスモニタリング（HPM）を活用する構造的なパフォーマンス工学手法を提案する。メモリ帯域幅の飽和、命令スループット制限、ロードアンバランスといったパフォーマンスパターンとそれらに紐付くメトリクスシグネチャを定義することで、x86システムにおけるlikwid-perfctrからのHPMデータを用いて的確な最適化を可能にする。事例研究では、ロードバランスとキャッシュブロッキングにより最大29％のパフォーマンス向上が達成された。

ABSTRACT

Many tools and libraries employ hardware performance monitoring (HPM) on modern processors, and using this data for performance assessment and as a starting point for code optimizations is very popular. However, such data is only useful if it is interpreted with care, and if the right metrics are chosen for the right purpose. We demonstrate the sensible use of hardware performance counters in the context of a structured performance engineering approach for applications in computational science. Typical performance patterns and their respective metric signatures are defined, and some of them are illustrated using case studies. Although these generic concepts do not depend on specific tools or environments, we restrict ourselves to modern x86-based multicore processors and use the likwid-perfctr tool under the Linux OS.

研究の動機と目的

• パフォーマンス最適化におけるHPMデータの解釈に体系的な手法が欠如しているという問題に対処すること。
• 現代のマルチコアプロセッサ上で実行される科学的アプリケーションにおける一般的なパフォーマンスパターンを特定・分類すること。
• HPMメトリクスとマイクロベンチマーク、静的コード解析を統合した、より深いアーキテクチャ的洞察を得るためのフレームワークを開発すること。
• 計算科学分野における実世界の事例研究を通じて、パターンベースのHPM解析の実用的影響を示すこと。
• キャッシュミスのような単純なメトリクスを超えて、包括的なパフォーマンスモデリングへと最適化を進めるための改善を図ること。

提案手法

• 著者らは、観察されたハードウェア動作に基づき、メモリ帯域幅の飽和、命令スループット制限、ロードアンバランスといったパフォーマンスパターンを定義する。
• 各パターンは、x86マルチコアシステム上でLinux環境で実行されるlikwid-perfctrツールを用いて得られるハードウェアパフォーマンスカウンタから導出された固有のメトリクスシグネチャと関連付けられる。
• 本アプローチは、HPMデータをマイクロベンチマーク、静的コード解析（例：Intel IACA）およびランタイム測定と統合し、パフォーマンスモデルの妥当性を検証する。
• 統合されたデータソースに基づいてモデルを段階的に改善する、構造的で反復的なパフォーマンス工学プロセスが適用される。
• HPMは単独で使用するのではなく、他の分析手法と組み合わせて使用することで最大の効果を発揮することに重点が置かれる。
• 事例研究では、timeline測定とlikwid-perfctrによる命令数プロファイリングを用いてボトルネックを診断・解決する。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアパフォーマンスモニタリング（HPM）データをどのように体系的に解釈することで、科学的アプリケーションにおけるパフォーマンスボトルネックを特定できるか？
• RQ2 現代のマルチコア科学的コードに見られる主なパフォーマンスパターンは何であり、それらはどのようにHPMシグネチャによって固有に識別できるか？
• RQ3 マイクロベンチマークおよび静的解析と組み合わせたHPMは、パフォーマンス診断の正確性をどの程度向上させるか？
• RQ4 パターンベースのHPMアプローチは、帯域幅とスループットの両方の制限が重複するような複雑で多面的なパフォーマンス問題に対して、どの程度効果的か？
• RQ5 構造的なHPMガイド付き最適化は、実世界の科学的ワークロードにおいて測定可能なパフォーマンス向上をもたらすか？

主な発見

• RabbitCtベンチマークは、ルーフラインモデリングからの初期仮定とは異なり、メモリ帯域幅の制限ではなく、命令スループットの制限によって制限されていた。
• 静的コード解析により、SIMDレジスタへの散乱されたロード演算が多すぎる命令数を要することが判明し、これがスループットボトルネックの原因であると説明された。
• 測定されたCPI値は静的解析の予測を確認し、命令レベルのパフォーマンスモデルの妥当性が裏付けられた。
• ロードアンバランスは、コア間のパックドSSE浮動小数点命令数の不均一さによって検出された：外側コアは内側コアの仕事量の3分の1しか処理しなかった。
• OpenMPループスケジューリングをラウンドロビンに変更することで、実行時間は61.72秒から43.9秒に短縮され、29％の改善が達成された。
• キャッシュブロッキングは、Intel Harpertownのような帯域幅が制限されたアーキテクチャではパフォーマンスを向上させたが、Westmereでは効果がなかったことから、下位のメモリ帯域幅が果たす役割が確認された。