[論文レビュー] CPC: programming with a massive number of lightweight threads

Gabriel Kerneis, Juliusz Chroboczek|arXiv (Cornell University)|Feb 4, 2011

Parallel Computing and Optimization Techniques参考文献 8被引用数 3

ひとこと要約

CPCは、スレッドコードをイベント駆動型のシステムスレッド実行に翻訳することで、軽量で協調的なスレッドの大量並列処理を可能にし、Hekate—BitTorrentのシーダーである—のような高性能ネットワークサーバーが、CPU使用率を最小限に抑えながら最大1,000人のピアを維持できる。このアプローチは、スレッドに似たシンプルさとイベント駆動型の効率性を組み合わせ、メモリオーバーヘッドを削減し、コードの可読性を向上させつつ、ブロッキングI/Oのための分離されたネイティブスレッドを併用したハイブリッドプログラミングを可能にする。

ABSTRACT

Threads are a convenient and modular abstraction for writing concurrent programs, but often fairly expensive. The standard alternative to threads, event-loop programming, allows much lighter units of concurrency, but leads to code that is difficult to write and even harder to understand. Continuation Passing C (CPC) is a translator that converts a program written in threaded style into a program written with events and native system threads, at the programmer's choice. Together with two undergraduate students, we taught ourselves how to program in CPC by writing Hekate, a massively concurrent network server designed to efficiently handle tens of thousands of simultaneously connected peers. In this paper, we describe a number of programming idioms that we learnt while writing Hekate; while some of these idioms are specific to CPC, many should be applicable to other programming systems with sufficiently cheap threads.

研究の動機と目的

• 伝統的なスレッドとイベント駆動型プログラミングの間で、パフォーマンスと表現力のトレードオフを解消すること。
• 最小限のオーバーヘッドと高いコード可読性を備えた、数千もの同時接続をサポートするプログラミングモデルを実現すること。
• 非常に軽量で協調的なスレッドを用いて、BitTorrentシーダーのようなスケーラブルなネットワークサーバーを構築する可能性を検討すること。
• ハイブリッドプログラミング—協調的CPCスレッドと分離されたネイティブスレッドの併用—が、ブロッキングI/Oを効率的に処理しつつパフォーマンスを維持できることを示すこと。

提案手法

• 継続渡し形式（CPS）変換を用いて、スレッドスタイルで記述されたプログラムをイベント駆動型コードに翻訳し、極めて軽量なスレッド実行を可能にする。
• CPCスレッドに協調的でプリエンプティブでないスケジューリングを適用し、CPS関数内の明確に定義されたポイントでのみコンテキストスイッチが発生するようにすることで、ランタイムのオーバーヘッドを低減する。
• 短時間で終了する分離型のタイムアウトスレッドを用いて、指定された期間内に活動がなければI/Oを中止する。
• CPS関数がネイティブ関数を呼び出し、cpc_detachedを用いてブロッキングI/O操作用の分離されたネイティブスレッドを生成できるハイブリッドモデルを導入する。
• cpc_io_waitによるI/O準備の確認後にバッファの割り当てを遅延させることで、ブロッキングスレッドモデルと比較してメモリ使用量を削減する。
• cpc_yieldとcpc_attachを用いて、協調的スレッドとネイティブスレッド実行の間を切り替えることで、非ブロッキングおよびブロッキング操作の両方を効率的に処理する。

実験結果

リサーチクエスチョン

• RQ1 極めて多数の軽量で協調的なスレッドを用いたプログラミングモデルが、イベント駆動型システムと同等のパフォーマンスを達成しつつ、スレッドベースのプログラミングのシンプルさを維持できるか。
• RQ2 CPS変換と協調的スケジューリングの使用が、並列ネットワークサーバーにおけるメモリ使用量とシステムオーバーヘッドにどのように影響するか。
• RQ3 協調的CPCスレッドと分離されたネイティブスレッドを併用するハイブリッドプログラミングが、ブロッキングI/O操作の効率性をどの程度向上できるか。
• RQ4 このようなシステムが、低性能ルーターのようなリソースが限られた組み込みハードウェア上でも効果的に展開可能か。

主な発見

• Hekateは、標準のデュアルコアCPU上で、CPU使用率10％未満で最大1,000人の接続ピアを維持し、ピークスループット10 MB/sを達成した。
• 266 MHzのMIPSベースのルーター（RAM 32 MB）でも正常に動作し、1.2 GBのtorrentを用いた1,000クライアントの負荷テストで2.9 MB/sのスループットを達成した。
• BitTorrentハンドシェイクのような複雑なプロトコルのコードは、イベント駆動型システムでは1,000行以上であったのに対し、CPCでは50行未満にまで短縮され、可読性が著しく向上した。
• I/O準備の確認後にバッファの割り当てを遅延させたため、従来のブロッキングスレッドモデルと比較してメモリ使用量が削減された一方で、線形な制御フローを保持した。
• cpc_detachedを用いたハイブリッドモデルにより、ディスクI/Oの処理が効率的に行われ、平均して10 ms未満で書き込みが完了し、競合状態の影響を最小限に抑えた。
• CPCランタイムは、cpc_writeが分離モードで使用された場合にそれを検出し、通常のwriteシステムコールと同等の動作に最適化した。これにより、パフォーマンスに損なわれることなくコードが簡素化された。