[論文レビュー] CryptMPI: A Fast Encrypted MPI Library

Abu Naser, Cong Wu+5 more|arXiv (Cornell University)|Oct 13, 2020

Cryptography and Data Security参考文献 15被引用数 4

ひとこと要約

CryptMPI は、ハイパースピードネットワークにおける HPC のための安全なメッセージパッシングを、マルチスレッドパイプライン暗号化と適応的ランタイムパrameterチューニングを活用することで高速化する高性能暗号化 MPI ライブラリである。大容量メッセージでは暗号化オーバーヘッドを 6% 未満に抑え、ネイティブ暗号化や IPSec よりも最大 3 倍のスループットを達成し、高負荷下でもパフォーマンス劣化を最小限に抑える。

ABSTRACT

The cloud infrastructure must provide security for High-Performance Computing (HPC) applications of sensitive data to execute in such an environment. However, supporting security in the communication infrastructure of today's public cloud is challenging, because current networks for data centers are so fast that adding encryption can incur very significant overheads. In this work, we introduce CryptMPI, a high performance encrypted MPI library that supports communication with both integrity and privacy. We present the techniques in CryptMPI and report our benchmarking results using micro-benchmarks and NAS parallel benchmarks. The evaluation results indicate that the aforementioned techniques are effective in improving the performance of encrypted communication.

研究の動機と目的

• HPC ワークロードにおける現代のハイパースピードデータセンターネットワークにおける暗号化の顕著なパフォーマンスボトル neck を解消すること。
• MPI ベースのアプリケーションにおける通信パフォーマンスを損なわずに、機密性と整合性を保証する強固なセキュリティ保証を提供すること。
• 弱い暗号モード（例：ECB）やスケーラビリティの欠如（例：IPSec）といった既存ソリューションの制限を克服し、スループットを著しく低下させることを防ぐこと。
• ハイパースレッドなど未利用の CPU リソースを活用して、MPI 通信における暗号化および復号化処理を並列化すること。
• エンドツーエンド通信遅延を最小限に抑えるために、スレッド数とデータチャンクの動的チューニングを可能にするシステムを設計すること。

提案手法

• CryptMPI は、MPI メッセージの機密性と整合性を保証するため、認証暗号化に AES-GCM を使用する。
• 大容量メッセージをチャンクに分割し、複数のハイパースレッドで並列処理することで、パイプライン暗号化および復号化を可能にする。
• 測定されたネットワークおよび CPU 特性に基づき、スレッド数やチャンクサイズを含む最適なランタイムパrameter を自動的に特定するための適応的パフォーマンスモデルを採用する。
• 暗号処理のオーバーヘッドを最小限に抑えるために、Intel AES-NI および CLMUL 指令を活用する。
• 下位レイヤープロトコル（例：IPSec）に依存せず、MPI レイヤーに直接統合することで、シリアライゼーションやパフォーマンスボトル neck を回避する。
• 送信側および受信側で並列に暗号化を実行するハイブリッドアプローチを採用し、計算と通信をオーバーラップさせることで遅延を隠蔽する。

実験結果

リサーチクエスチョン

• RQ1 ハイパースピードデータセンターネットワークにおいて、カスタム最適化された暗号化 MPI ライブラリは、ネイティブ暗号化や IPSec よりも顕著に低いパフォーマンスオーバーヘッドを達成できるか？
• RQ2 実際の HPC ワークロード下で、マルチスレッドパイプライン暗号化は大容量メッセージ MPI 通信の遅延をどの程度低減できるか？
• RQ3 スレッド数およびチャンクサイズの適応的パrameterチューニングは、多様なネットワークおよび計算環境下でエンドツーエンドパフォーマンスをどの程度向上できるか？
• RQ4 高い計算負荷下、または通信が既に計算とオーバーラップしている状況下でも、CryptMPI のパフォーマンスメリットは減少するか？
• RQ5 ポイントツーポイント通信を想定したシステムは、将来的に集合的通信を効率的にサポートできるように拡張可能か？

主な発見

• 40Gbps InfiniBand クラスタ上では、2 組の同時通信ペアにおいて 4MB メッセージに対して CryptMPI は暗号化オーバーヘッドをわずか 5.03% に抑え、ネイティブアプローチの 178.48% と比較して顕著な改善を示した。
• 1MB メッセージでは、CryptMPI は 1.2 GBps のスループットを達成し、ネイティブ AES-GCM 方法（0.72 GBps）と比較して 60% の改善を示し、IPSec の約 1 GBps よりも顕著に優れていた。
• NAS Parallel Benchmark CG において、CryptMPI はノード間通信時間に対するオーバーヘッドを 12.3% に抑え、ネイティブ法の 79% と比較して顕著な改善を示したが、合計実行時間のオーバーヘッドは 20.2% に留まった。
• 60% の計算負荷と 2MB メッセージを伴う 2D ステントルンでは、CryptMPI の暗号化オーバーヘッドは 206% であったのに対し、ネイティブアプローチは 331% に達し、中程度の負荷下でも明確なパフォーマンス向上が確認された。
• 80% の高負荷下でも、CryptMPI はネイティブ法の 450% から 384% にオーバーヘッドを低減し、パフォーマンスが極めて重要な状況下でも耐性を示した。
• パフォーマンスモデルにより、CryptMPI は 2MB メッセージに対して 2 スレッドと 4 チャンクといった最適な構成を自動で選択でき、ランタイムでの適応的最適化が有効に機能していることが実証された。