[論文レビュー] Effect of Meltdown and Spectre Patches on the Performance of HPC Applications

Nikolay A. Simakov, Martins Innus+5 more|arXiv (Cornell University)|Jan 12, 2018

Parallel Computing and Optimization Techniques参考文献 5被引用数 9

ひとこと要約

本研究では、実際のHPCクラスタ上でXDMoDのアプリケーションカーネル監視を用いて、MeltdownおよびSpectreパッチがHPCワークロードに与えるパフォーマンスへの影響を評価した。一部のマイクロベンチマークでは最大74％の遅延が見られたが、実世界のHPCアプリケーションでは単一ノードジョブで2〜3％、マルチノード並列ジョブで5〜11％のパフォーマンス低下にとどまり、顕著なセキュリティ強化にもかかわらず全体としての影響は最小限であることが示された。

ABSTRACT

In this work we examine how the updates addressing Meltdown and Spectre vulnerabilities impact the performance of HPC applications. To study this we use the application kernel module of XDMoD to test the performance before and after the application of the vulnerability patches. We tested the performance difference for multiple application and benchmarks including: NWChem, NAMD, HPCC, IOR, MDTest and IMB. The results show that although some specific functions can have performance decreased by as much as 74%, the majority of individual metrics indicates little to no decrease in performance. The real-world applications show a 2-3% decrease in performance for single node jobs and a 5-11% decrease for parallel multi node jobs.

研究の動機と目的

• MeltdownおよびSpectreパッチが実際のHPCアプリケーションおよびベンチマークに与えるパフォーマンスへの影響を定量化すること。
• セキュリティ強化アップデートがHPCシステムのパフォーマンスを顕著に低下させるかどうかを評価すること。
• 科学的アプリケーションおよびI/Oベンチマークを含む、さまざまな種類のHPCワークロードにおいて、パフォーマンス劣化が一貫しているかどうかを特定すること。
• XDMoDのアプリケーションカーネル監視を用いて、システムレベルの変更の前後における自動的・継続的なパフォーマンス比較を可能にすること。
• HPCセンターがセキュリティ強化とアプリケーションパフォーマンスのトレードオフを評価するための実証的データを提供すること。

提案手法

• パッチ適用前後におけるHPCアプリケーションおよびベンチマークのパフォーマンスを自動実行・監視するために、XDMoDのアプリケーションカーネルモジュールを採用した。
• テストに使用したのは、実世界のHPCアプリケーション（NAMD、NWChem）および標準ベンチマーク（HPCC、IMB、IOR、MDTest）であった。
• Intel L5520プロセッサを搭載した8ノード、各ノード8コアのテストクラスタを用い、Infiniband接続を介してパフォーマンス測定を実施した。
• CVE-2017-5753、CVE-2017-5715、CVE-2017-5754の脆弱性を緩和するため、カーネルレベルのパッチを適用した。
• 有意差の有無を統計的に判断するために、有意水準α = 0.05のWelchのt検定を用いた。
• ローカルおよびGPFSのファイルシステムを対象に、ウォールクロック時間、スループット、1秒あたりの処理回数を、さまざまなワークロードで測定した。

実験結果

リサーチクエスチョン

• RQ1 MeltdownおよびSpectreパッチは、単一ノードのHPCアプリケーションにどのようなパフォーマンス影響を与えるか？
• RQ2 MeltdownおよびSpectreの緩和措置を適用した後、マルチノード並列HPCワークロードのパフォーマンスはどのように変化するか？
• RQ3 特定のベンチマークやアプリケーションタイプが、顕著に高いパフォーランス劣化を経験するケースがあるか？
• RQ4 IORやMDTestのようなI/O集約的ワークロードは、パッチ適用後、どの程度パフォーマンスが低下するか？
• RQ5 さまざまなアプリケーションカーネルにおいて、パフォーマンス劣化は統計的に有意であるか？

主な発見

• 単一ノードのHPCアプリケーションでは、パッチ適用後、2〜3％のパフォーマンス低下が見られ、ほとんどの場合で統計的有意差は認められなかった。
• マルチノード並列ジョブでは5〜11％のパフォーマンス劣化が生じ、ローカルストレージ上のMDTestではウォールクロック時間が最大78.6％増加した。
• ローカルストレージ上のMDTestベンチマークは最も顕著な劣化を示し、ウォールクロック時間が78.6％増加し、1秒あたりの処理回数が最大26.3％減少した。
• 一部のマイクロベンチマークでは、特にstatやreadなどのファイルシステム操作で、最大74％のパフォーマンス劣化が観察された。
• ローカルストレージ上のIORベンチマークでは、書き込みオープン時間が12.5％増加した一方、POSIX読み取りスループットは11.3％低下した。
• 一部の極端な外れ値が存在したが、大多数のメトリクスでは統計的有意差が認められず、大多数のHPCワークロードがほとんど影響を受けないことが示された。