[論文レビュー] High Performance Data Persistence in Non-Volatile Memory for Resilient High Performance Computing

Yingchao Huang, Kai Wu+1 more|arXiv (Cornell University)|Apr 30, 2017

Advanced Data Storage Technologies参考文献 29被引用数 3

ひとこと要約

本論文では、HPCシステムにおける高パフォーマンスで頻繁なデータ永続化を実現するために、非揮発性メモリ（NVM）をメインメモリとして使用する手法を提案する。従来のチェックポイントにおける高コストなデータコピーを排除することで、4.4％の平均ランタイムオーバーヘッドで持続的チェックポイントを実現。再計算とレジリエンスのジレンマを克服し、高い性能を実現する。

ABSTRACT

Resilience is a major design goal for HPC. Checkpoint is the most common method to enable resilient HPC. Checkpoint periodically saves critical data objects to non-volatile storage to enable data persistence. However, using checkpoint, we face dilemmas between resilience, recomputation and checkpoint cost. The reason that accounts for the dilemmas is the cost of data copying inherent in checkpoint. In this paper we explore how to build resilient HPC with non-volatile memory (NVM) as main memory and address the dilemmas. We introduce a variety of optimization techniques that leverage high performance and non-volatility of NVM to enable high performance data persistence for data objects in applications. With NVM we avoid data copying; we optimize cache flushing needed to ensure consistency between caches and NVM. We demonstrate that using NVM is feasible to establish data persistence frequently with small overhead (4.4% on average) to achieve highly resilient HPC and minimize recomputation.

研究の動機と目的

• 将来的なHPCシステムにおけるレジリエンスジレンマに対処する。これは、平均故障間隔（MTBF）が短くなることで、チェックポイントの頻度が増加するが、それに伴いランタイムオーバーヘッドも増加するという状況である。
• 再計算ジレンマを克服する。頻繁なチェックポイントはデータ損失を減らすが、データコピーに起因する高いオーバーヘッドを伴う。
• NVMの非揮発性と高い性能を活用し、従来のデータコピーを必要としないチェックポイントの実現を目指す。
• OS やハードウェアの変更を必要とせず、キャッシュとNVM間のデータ一貫性を保証するソフトウェアオンリーソリューションを構築する。
• 持続的チェックポイントのランタイムオーバーヘッドを最小限に抑えることで、レジリエントなHPC実行における頻繁で効率的なデータ永続化を実現する。

提案手法

• インプレースバージョニングを導入。これは、アプリケーション固有の書き込み操作を活用し、明示的なデータコピーを伴わずに、NVMに直接新しいデータオブジェクトバージョンを作成する技術である。
• プログラマーが低レベルの詳細を意識しなくてもよいように、ソースコードにインプレースバージョニングを自動的に適用する変換ルールを導出する。
• バージョン作成後にCPUキャッシュとNVM間の一貫性を保証するため、プロアクティブなキャッシュフラッシュを実装。新バージョンのすべてのブロックをフラッシュする。
• SIMDベースの非一時的命令（例：MOVDQU）を用いてキャッシュをバイパスし、キャッシュとメモリ間のデータ移動を削減することで、キャッシュフラッシュの最適化を実現。
• キャッシュフラッシュ処理を並列化し、チェックポイント中のパフォーマンス向上と遅延低減を図る。
• エポックベースのモデルを用いて永続的書き込みを管理。バージョン作成からキャッシュフラッシュまでの期間を1つのエポックとみなす。この間、並列での永続的書き込みを許可する。

実験結果

リサーチクエスチョン

• RQ1 NVMベースのメインメモリは、HPCのチェックポイントにおいてデータコピーの必要性を排除できるか。これにより、レジリエンスジレンマと再計算ジレンマが解消されるか？
• RQ2 インプレースバージョニングをどのように自動的にアプリケーションに適用し、明示的なデータ移動なしに永続的データバージョンを作成できるか？
• RQ3 キャッシュフラッシュのパフォーマンスオーバーヘッドを最小限に抑える最適化技術は何か？
• RQ4 OS やハードウェアのサポートを必要としないソフトウェアオンリーソリューションで、データ一貫性を保証しつつ、低ランタイムオーバーヘッドを達成できるか？
• RQ5 NVMを用いて、再計算を最小限に抑え、HPCのレジリエンスを向上させるために、どの程度頻繁で低オーバーヘッドのデータ永続化を実現できるか？

主な発見

• 提案されたインプレースバージョニング技術により、アプリケーションの書き込み操作を活用してNVMに直接データを更新することで、チェックポイントにおけるデータコピーが完全に排除された。
• SIMDベースの非一時的命令と並列キャッシュフラッシュの最適化を組み合わせることで、持続的チェックポイントの平均ランタイムオーバーヘッドは4.4％まで低減された。
• NVM性能が楽観的に見積もられた場合でも、従来のNVMベースのチェックポイントは、データコピーに起因して最大46％のオーバーヘッドを示す。これにより、コピー回避技術の必要性が明確になった。
• プロアクティブなキャッシュフラッシュ戦略により、キャッシュとNVM間の一貫性が確保されたが、汚染ブロックの追跡が行われていないためコストが発生した。
• 頻繁なデータ永続化が可能であり、パフォーマンスへの影響を最小限に抑えられるため、障害発生後の再計算を著しく削減できる。高いレジリエンスが実現された。
• OS やハードウェアの変更を一切不要としており、既存のHPC環境への実装が実用的である。