[論文レビュー] Rethinking Thread Scheduling under Oversubscription: A User-Space Framework for Coordinating Multi-runtime and Multi-process Workloads

Aleix Roca, Vicenç Beltran|arXiv (Cornell University)|Jan 28, 2026

Parallel Computing and Optimization Techniques被引用数 0

ひとこと要約

本論文は USF（ユーザ空間スケジューリングフレームワーク）と SCHED_COOP（プリエンプションの遅延による oversubscription 干渉の低減を目的とした協調ポリシー）を提示し、マルチランタイムおよびマルチプロセスの HPC/AI ワークロードで評価しています。

ABSTRACT

The convergence of high-performance computing (HPC) and artificial intelligence (AI) is driving the emergence of increasingly complex parallel applications and workloads. These workloads often combine multiple parallel runtimes within the same application or across co-located jobs, creating scheduling demands that place significant stress on traditional OS schedulers. When oversubscribed (there are more ready threads than cores), OS schedulers rely on periodic preemptions to multiplex cores, often introducing interference that may degrade performance. In this paper, we present: (1) The User-space Scheduling Framework (USF), a novel seamless process scheduling framework completely implemented in user-space. USF enables users to implement their own process scheduling algorithms without requiring special permissions. We evaluate USF with its default cooperative policy, (2) SCHED_COOP, designed to reduce interference by switching threads only upon blocking. This approach mitigates well-known issues such as Lock-Holder Preemption (LHP), Lock-Waiter Preemption (LWP), and scalability collapse. We implement USF and SCHED_COOP by extending the GNU C library with the nOS-V runtime, enabling seamless coordination across multiple runtimes (e.g., OpenMP) without requiring invasive application changes. Evaluations show gains up to 2.4x in oversubscribed multi-process scenarios, including nested BLAS workloads, multi-process PyTorch inference with LLaMA-3, and Molecular Dynamics (MD) simulations.

研究の動機と目的

• 複数ランタイムと同居プロセスを伴う oversubscribed HPC/AI ワークロードに対するスケジューリングの改善の必要性を動機付ける。
• アプリケーション変更や特別な権限を必要としないシームレスなユーザー空間スケジューリングフレームワーク（USF）を提案する。
• プリエンプションと干渉を最小化する協調ポリシーとして SCHED_COOP を導入する。

提案手法

• GNU C ライブラリ（glibc）を nOS-V ランタイムで拡張して USF/SCHED_COOP を実現し、複数のランタイムとプロセスを協調させる。
• pthreads を nOS-V ワーカーに変換し、タスクをコアアフィニティ付きでマッピングしてマルチプロセス中心のスケジューリングを可能にする。
• nOS-V 内で per-process FIFO スケジューリングポリシーを定義し、SCHED_COOP がアフィニティと NUMA の考慮に基づいて次のタスクを選択する。
• 標準の glibc API（pthread 創成、ブロッキング、アフィニティ）を介して USF 経由にルーティングし、カーネル変更を不要にする。
• ブロッキング対応の拡張（ mutex、 barrier、 semaphore、 poll/epoll）を提供し、ワーカーのスワップとタスク再提出をトリガーする。
• ブロッキング検出、ビジーウェイトバリア、プロセス間の共有メモリセキュリティに関する制限を記述する。

Figure 1 . Glibcv architecture diagram. Application’s standard API calls are forwarded to the USF backend if enabled, which bridges with the nOS-V API. nOS-V schedules threads according to the selected policy.

実験結果

リサーチクエスチョン

• RQ1 ユーザー空間スケジューラはマルチランタイムとマルチプロセスのワークロードを協調させ、 oversubscription の下で性能を改善できるか。
• RQ2 シームレスな USF/SCHED_COOP アプローチは、ベースライン Linux スケジューリングと比較してどの程度の性能向上を実現できるか。
• RQ3 SCHED_COOP はロックホルダー・ロックワイターのプリエンプションやスケーラビリティ崩壊といった干渉をどのように緩和するか。
• RQ4 多様な HPC/AI スタックで USF を展開する際の実践的制限とチューニング指針は何か。
• RQ5 ランタイムのネスティングは性能にどのように影響し、アプリ変更を最小限に抑えつつどのように実現できるか。

主な発見

• oversubscribed なマルチプロセスシナリオでUSF/SCHED_COOP 使用時に最大 2.4x の利得。
• アプリケーション変更やカーネル改修を伴わないシームレスなユーザー空間スケジューリングでスループットを向上させられる。
• ネストされたランタイムとマルチプロセスワークロードで基準となる Linux スケジューリングより改善を示す。
• nOS-V はプロセス間でタスクを管理する集中型スケジューラを用いたシームレスなマルチプロセス協調を可能にする。
• ブロッキング駆動のタスクスワップとコア毎のアフィニティが干渉を低減し並列性を維持する。
• 手動による適応は一部構成で最大 4x の速度向上をもたらす可能性があり、シームレスな USF アプローチは各シナリオで実質的な利得を提供する。

Figure 2 . Evaluated matmul software stacks. a) Baseline with yield. b) Manual nOS-V integration. c) Seamless nOS-V integration. d) Unmodified (no yield).