[논문 리뷰] Rethinking Thread Scheduling under Oversubscription: A User-Space Framework for Coordinating Multi-runtime and Multi-process Workloads

Aleix Roca, Vicenç Beltran|arXiv (Cornell University)|2026. 01. 28.

Parallel Computing and Optimization Techniques인용 수 0

한 줄 요약

본 논문은 USF(사용자 공간 스케줄링 프레임워크)와 SCHED_COOP(협력 정책)를 제시하여 전처점? 오버서브스크립션 간섭을 지연 선점을 통해 줄이고, 다중 런타임 및 다중 프로세스 HPC/AI 워크로드에서 평가한다.

ABSTRACT

The convergence of high-performance computing (HPC) and artificial intelligence (AI) is driving the emergence of increasingly complex parallel applications and workloads. These workloads often combine multiple parallel runtimes within the same application or across co-located jobs, creating scheduling demands that place significant stress on traditional OS schedulers. When oversubscribed (there are more ready threads than cores), OS schedulers rely on periodic preemptions to multiplex cores, often introducing interference that may degrade performance. In this paper, we present: (1) The User-space Scheduling Framework (USF), a novel seamless process scheduling framework completely implemented in user-space. USF enables users to implement their own process scheduling algorithms without requiring special permissions. We evaluate USF with its default cooperative policy, (2) SCHED_COOP, designed to reduce interference by switching threads only upon blocking. This approach mitigates well-known issues such as Lock-Holder Preemption (LHP), Lock-Waiter Preemption (LWP), and scalability collapse. We implement USF and SCHED_COOP by extending the GNU C library with the nOS-V runtime, enabling seamless coordination across multiple runtimes (e.g., OpenMP) without requiring invasive application changes. Evaluations show gains up to 2.4x in oversubscribed multi-process scenarios, including nested BLAS workloads, multi-process PyTorch inference with LLaMA-3, and Molecular Dynamics (MD) simulations.

연구 동기 및 목표

• 다중 런타임과 동시 배치된 프로세스가 있는 과다 구독된 HPC/AI 워크로드에서 개선된 스케줄링의 필요성을 제시한다.
• 애플리케이션 변경이나 특별한 권한이 필요 없는 매끄러운 사용자 공간 스케줄링 프레임워크(USF)를 제안한다.
• 프리엠션(선점)과 간섭을 최소화하기 위한 협력적 정책으로 SCHED_COOP를 도입한다.

제안 방법

• GNU C Library (glibc)를 nOS-V 런타임으로 확장하여 다중 런타임과 프로세스를 조정하도록 USF와 SCHED_COOP를 구현한다.
• pthreads를 nOS-V 워커로 변환하고 코어당 친화성(per-core affinity)을 가진 작업에 매핑하여 다중 프로세스 중앙 집중식 스케줄링을 가능하게 한다.
• 친화성과 NUMA 고려에 따라 다음 작업을 선택하기 위해 SCHED_COOP를 위한 nOS-V 내의 프로세스별 FIFO 스케줄링 정책을 정의한다.
• 커널 수정 없이 USF를 통해 경로를 라우팅하기 위해 표준 glibc API(pthread 생성, 차단, affinity)를 USF를 거치도록 인터포즈한다.
• 차단 인지 가능한 확장(뮤텍스, 배리어, 세마포어, poll/epoll)을 제공하여 워커 교환과 작업 재제출을 트리거한다.
• 차단 탐지, 바쁜 대기 바리어, 프로세스 간 공유 메모리 보안 등과 관련된 한계점을 설명한다.

Figure 1 . Glibcv architecture diagram. Application’s standard API calls are forwarded to the USF backend if enabled, which bridges with the nOS-V API. nOS-V schedules threads according to the selected policy.

실험 결과

연구 질문

• RQ1 사용자 공간 스케줄러가 다중 런타임과 다중 프로세스 워크로드를 조정하여 오버서브스크립션 하에서 성능을 향상시킬 수 있는가?
• RQ2 기준 Linux 스케줄링과 비교하여 매끄러운 USF/SCHED_COOP 접근 방식으로 어떤 성능 향상이 달성될 수 있는가?
• RQ3 잠금 소유자/잠금 대기자 선점 및 확장성 붕괴와 같은 간섭을 SCHED_COOP가 어떻게 완화하는가?
• RQ4 다양한 HPC/AI 스택에서 USF를 배치할 때의 실질적 제한사항 및 튜닝 가이드라인은 무엇인가?
• RQ5 런타임 중첩이 성능에 어떤 영향을 미치며 최소한의 애플리케이션 변경으로 이를 어떻게 달성할 수 있는가?

주요 결과

• USF/SCHED_COOP를 사용할 때 오버서브스크립트된 다중 프로세스 시나리오에서 최대 2.4배의 향상을 얻을 수 있다.
• 매끄러운 사용자 공간 스케줄링은 애플리케이션 변경이나 커널 수정 없이 처리량을 향상시킬 수 있다.
• 중첩 런타임과 다중 프로세스 워크로드에서 기본 Linux 스케줄링 대비 개선이 나타난다.
• nOS-V는 프로세스 간 작업을 중앙 집중식 스케줄러로 관리하여 매끄러운 다중 프로세스 조정을 가능하게 한다.
• 차단 기반의 작업 교환과 코어당 친화성이 간섭을 줄이고 병렬성을 유지하는 데 도움을 준다.
• 일부 구성에서 수동적 적응으로 최대 4배의 속도 향상을 얻을 수 있으며, 매끄러운 USF 방식은 다양한 시나리오에서 상당한 이점을 제공한다.

Figure 2 . Evaluated matmul software stacks. a) Baseline with yield. b) Manual nOS-V integration. c) Seamless nOS-V integration. d) Unmodified (no yield).