[论文解读] Efficient System-Enforced Deterministic Parallelism

Amittai Aviram, Shu-Chun Weng+2 more|arXiv (Cornell University)|May 19, 2010

Parallel Computing and Optimization Techniques参考文献 42被引用 27

一句话总结

本文提出 Determinator，一种新型操作系统，通过最小化内核 API 隔离并发进程和线程，强制实现系统级确定性并行计算，确保跨运行的位级完全一致执行。它在粗粒度并行工作负载上实现了与传统系统相当的性能，同时消除了对内部事件日志的需求，使正常执行下的确定性执行成为可能，并支持稳健的调试、容错和安全分析。

ABSTRACT

Deterministic execution offers many benefits for debugging, fault tolerance, and security. Running parallel programs deterministically is usually difficult and costly, however - especially if we desire system-enforced determinism, ensuring precise repeatability of arbitrarily buggy or malicious software. Determinator is a novel operating system that enforces determinism on both multithreaded and multi-process computations. Determinator's kernel provides only single-threaded, "shared-nothing" address spaces interacting via deterministic synchronization. An untrusted user-level runtime uses distributed computing techniques to emulate familiar abstractions such as Unix processes, file systems, and shared memory multithreading. The system runs parallel applications deterministically both on multicore PCs and across nodes in a cluster. Coarse-grained parallel benchmarks perform and scale comparably to - sometimes better than - conventional systems, though determinism is costly for fine-grained parallel applications.

研究动机与目标

• 解决在并行程序中实现系统强制确定性的挑战，特别是针对任意、存在错误或恶意的代码。
• 通过在内核级别强制实现确定性，消除记录与重放调试中对内部事件日志的需求。
• 实现在多核系统和集群环境中，多线程与多进程应用程序的确定性执行。
• 通过防止依赖时间的侧信道，为入侵分析和海森堡式错误重现提供安全可靠的基础设施。
• 证明确定性执行在粗粒度并行工作负载上可以高效且可扩展，同时不牺牲正确性或安全性。

提出的方法

• 内核通过仅提供单线程、无共享内存空间（称为“空间”）且无物理共享状态来强制实现确定性。
• 通过一组最少的系统调用，实现特定线程之间的一对一、确定性通信来强制同步。
• 将真实世界时间视为 I/O，通过类似设备的接口进行控制，以防止时间侧信道攻击。
• 用户级运行时使用确定性虚拟化机制（如文件复制和版本控制）来模拟熟悉的抽象，如共享内存、文件系统和 pthreads。
• 内核的最小 API（仅三个系统调用）确保即使运行时存在错误或恶意代码，也无法破坏确定性。
• 确定性调度在系统级别强制执行，将调度逻辑与应用代码解耦，防止非确定性行为。

实验结果

研究问题

• RQ1 是否可以在不依赖内部事件日志的情况下，为多线程和多进程并行程序实现系统强制确定性？
• RQ2 对于正常情况下的工作负载，能否实现与传统系统性能相当的确定性执行？
• RQ3 如何以防止恶意代码逃避分析的方式，消除依赖时间的侧信道？
• RQ4 最小内核 API 是否能确保即使在用户级运行时不可信或存在错误的情况下，确定性依然得以维持？
• RQ5 与粗粒度并行应用相比，确定性在细粒度并行应用中引入的性能开销有多大？

主要发现

• Determinator 在粗粒度并行基准测试中实现了确定性执行，性能和可扩展性与传统系统相当，甚至在某些情况下更优。
• 由于虚拟化时间与同步的开销，系统在细粒度并行应用中性能成本较高。
• 内核的最小 API（代码量少于 15,000 行）确保了确定性在系统级别强制执行，且不会被运行时错误破坏。
• 用户级运行时成功通过文件版本控制和分布式共享内存等确定性技术，模拟了 Unix 进程、文件系统和共享内存多线程。
• 与同类系统相比，Determinator 的实现复杂度显著降低，完整系统仅 14,492 行代码，其教学子集 PIOS 为 5,385 行。
• Determinator 证明了系统强制确定性在正常执行场景下是可行的，可实现可靠的重放与分析，无需记录内部事件，适用于海森堡式错误和恶意软件分析。