[论文解读] CryptMPI: A Fast Encrypted MPI Library

Abu Naser, Cong Wu+5 more|arXiv (Cornell University)|Oct 13, 2020

Cryptography and Data Security参考文献 15被引用 4

一句话总结

CryptMPI 是一种高性能加密 MPI 库，通过利用多线程流水线加密和自适应运行时参数调优，加速了 HPC 中的安全消息传递。在高速网络上，对于大消息，其加密开销降低至 6% 以下，吞吐量比简单加密和 IPSec 提高多达 3 倍，即使在重负载下也能最小化性能下降。

ABSTRACT

The cloud infrastructure must provide security for High-Performance Computing (HPC) applications of sensitive data to execute in such an environment. However, supporting security in the communication infrastructure of today's public cloud is challenging, because current networks for data centers are so fast that adding encryption can incur very significant overheads. In this work, we introduce CryptMPI, a high performance encrypted MPI library that supports communication with both integrity and privacy. We present the techniques in CryptMPI and report our benchmarking results using micro-benchmarks and NAS parallel benchmarks. The evaluation results indicate that the aforementioned techniques are effective in improving the performance of encrypted communication.

研究动机与目标

• 解决现代高速数据中心网络中 HPC 工作负载的加密性能瓶颈问题。
• 在不牺牲 MPI 应用程序通信性能的前提下，提供强安全保证——保密性和完整性。
• 克服现有解决方案的局限性，例如弱加密模式（如 ECB）或可扩展性差（如 IPSec），这些都会严重降低吞吐量。
• 利用未充分利用的 CPU 资源（如超线程）来并行化 MPI 通信中的加密和解密操作。
• 设计一种系统，动态调整线程数和数据分块大小，以最小化端到端通信延迟。

提出的方法

• CryptMPI 使用 AES-GCM 进行认证加密，确保 MPI 消息的隐私性和完整性。
• 通过将大消息拆分为多个块，并在多个超线程上并行处理，实现加密和解密的流水线处理。
• 系统采用自适应性能模型，根据测量的网络和 CPU 特性，自动确定最优运行时参数，包括线程数和块大小。
• 利用 Intel AES-NI 和 CLMUL 指令集加速加密操作，最小化每次操作的开销。
• 该库直接集成到 MPI 层，避免依赖 IPSec 等底层协议，后者会引入序列化和性能瓶颈。
• 采用混合方法，使发送方和接收方并行执行加密操作，将计算与通信重叠，以隐藏延迟。

实验结果

研究问题

• RQ1 定制优化的加密 MPI 库是否能在高速数据中心网络中显著降低性能开销，相比简单加密或 IPSec？
• RQ2 在真实 HPC 工作负载下，多线程流水线加密在降低大消息 MPI 通信延迟方面效果如何？
• RQ3 线程数和分块大小的自适应参数调优在不同网络和计算条件下，能在多大程度上提升端到端性能？
• RQ4 当计算负载较高或通信已与计算重叠时，CryptMPI 的性能优势是否会减弱？
• RQ5 能否将专为点对点通信设计的系统扩展，以在未来高效支持集合操作？

主要发现

• 在 40Gbps InfiniBand 集群上，CryptMPI 将 4MB 消息的加密开销降低至仅 5.03%（两对并发通信对），而简单方法的开销高达 178.48%。
• 对于 1MB 消息，CryptMPI 实现了 1.2 GBps 的吞吐量，相比简单 AES-GCM 方法（1.2 GBps vs. 0.72 GBps）提升了 60%，并显著优于 IPSec（约 1 GBps）。
• 在 NAS Parallel Benchmark CG 中，CryptMPI 在节点间通信时间上的开销仅为 12.3%，而简单方法高达 79%，尽管总执行时间开销为 20.2%。
• 对于计算负载为 60%、消息大小为 2MB 的 2D 泛函核，CryptMPI 的加密开销为 206%，而简单方法为 331%，表明在中等负载下性能优势明显。
• 即使在 80% 的高计算负载下，CryptMPI 也将开销从简单方法的 450% 降低至 384%，展现出在性能关键场景下的鲁棒性。
• 性能模型使 CryptMPI 能够自动选择最优配置（如 2 个线程和 4 个分块用于 2MB 消息），证明了其运行时自适应的有效性。