[论文解读] CPC: programming with a massive number of lightweight threads

Gabriel Kerneis, Juliusz Chroboczek|arXiv (Cornell University)|Feb 4, 2011

Parallel Computing and Optimization Techniques参考文献 8被引用 3

一句话总结

CPC 通过将线程代码翻译为事件驱动、系统线程执行的方式，实现了大规模轻量级协作线程的编程，从而在极低 CPU 使用率下维持高达 1,000 个对等连接，使高性能网络服务器（如 Hekate——一个 BitTorrent 发送者）得以高效运行。该方法结合了线程编程的简洁性与事件驱动的高效性，降低了内存开销并提升了代码可读性，同时通过使用分离的原生线程支持阻塞 I/O，实现了混合编程。

ABSTRACT

Threads are a convenient and modular abstraction for writing concurrent programs, but often fairly expensive. The standard alternative to threads, event-loop programming, allows much lighter units of concurrency, but leads to code that is difficult to write and even harder to understand. Continuation Passing C (CPC) is a translator that converts a program written in threaded style into a program written with events and native system threads, at the programmer's choice. Together with two undergraduate students, we taught ourselves how to program in CPC by writing Hekate, a massively concurrent network server designed to efficiently handle tens of thousands of simultaneously connected peers. In this paper, we describe a number of programming idioms that we learnt while writing Hekate; while some of these idioms are specific to CPC, many should be applicable to other programming systems with sufficiently cheap threads.

研究动机与目标

• 解决传统线程与事件驱动编程在并发系统中性能与表达性之间的权衡问题。
• 实现一种支持数千个并发连接、开销极小且代码可读性高的编程模型。
• 探索使用极轻量级协作线程构建可扩展网络服务器（如 BitTorrent 发送者）的可行性。
• 证明混合编程（结合协作 CPC 线程与分离的原生线程）能够高效处理阻塞 I/O，同时保持高性能。

提出的方法

• 使用连续传递风格（CPS）变换，将用线程风格编写的程序转换为事件驱动代码，实现极轻量级线程执行。
• 对 CPC 线程采用协作式、非抢占式调度，仅在 CPS 函数中的明确定义点发生上下文切换，从而降低运行时开销。
• 通过短生命周期、分离的超时线程实现超时机制，若在指定时间段内无活动则中止 I/O 操作。
• 引入混合模型，允许 CPS 函数调用原生函数，并使用 cpc_detached 启动阻塞原生线程以处理 I/O 操作。
• 通过 cpc_io_wait 确认 I/O 就绪后再延迟分配缓冲区，相比阻塞线程模型减少了内存使用。
• 使用 cpc_yield 和 cpc_attach 在协作线程与原生线程执行之间切换，实现对非阻塞与阻塞操作的高效处理。

实验结果

研究问题

• RQ1 一种包含大规模轻量级协作线程的编程模型，是否能在保留线程式编程简洁性的同时，实现与事件驱动系统相当的性能？
• RQ2 CPS 变换与协作式调度的使用，对并发网络服务器的内存使用与系统开销有何影响？
• RQ3 在处理阻塞 I/O 操作时，混合编程（结合协作 CPC 线程与分离的原生线程）能在多大程度上提升效率？
• RQ4 此类系统是否能在资源受限的嵌入式硬件（如低端路由器）上有效部署？

主要发现

• Hekate 在标准双核 CPU 上维持了高达 1,000 个对等连接，峰值吞吐量达 10 MB/s，CPU 使用率低于 10%。
• 系统在 266 MHz 的 MIPS 架构路由器（32 MB RAM）上成功运行，在 1,000 个客户端压力测试下实现 2.9 MB/s 吞吐量，使用 1.2 GB 的 BitTorrent 种子文件。
• 使用 CPC 编写的复杂协议（如 BitTorrent 握手）代码量从事件驱动系统中的 1,000 多行减少至不足 50 行，显著提升了可读性。
• 缓冲区分配被推迟到 I/O 就绪之后，相比传统阻塞线程模型减少了内存使用，同时保持了线性控制流。
• 使用 cpc_detached 的混合模型可高效处理磁盘 I/O，平均写入时间低于 10 ms，显著降低了竞争条件的影响。
• CPC 运行时检测到 cpc_write 在分离模式下被调用，并将其优化为类似常规系统调用的写操作，简化了代码且未造成性能损失。