[論文レビュー] Nixie: Efficient, Transparent Temporal Multiplexing for Consumer GPUs

Yechen Xu, Yifei wang+3 more|arXiv (Cornell University)|Jan 16, 2026

Parallel Computing and Optimization Techniques被引用数 0

ひとこと要約

Nixieは、メモリ割り当てとカーネル起動を調整するシステムサービスを介して、消費者向けGPU上で効率的かつ透明な時間的マルチプレックスを提供し、対話的タスクの待機時間を改善し、アプリやドライバの変更なしにCPUピン留めメモリの使用を削減します。

ABSTRACT

Consumer machines are increasingly running large ML workloads such as large language models (LLMs), text-to-image generation, and interactive image editing. Unlike datacenter GPUs, consumer GPUs serve single-user, rapidly changing workloads, and each model's working set often nearly fills the GPU memory. As a result, existing sharing mechanisms (e.g., NVIDIA Unified Virtual Memory) perform poorly due to memory thrashing and excessive use of CPU pinned memory when multiple applications are active. We design and implement Nixie, a system that enables efficient and transparent temporal multiplexing on consumer GPUs without requiring any application or driver changes. Nixie is a system service that coordinates GPU memory allocation and kernel launch behavior to efficiently utilize the CPU-GPU bi-directional bandwidth and CPU pinned memory. A lightweight scheduler in Nixie further improves responsiveness by automatically prioritizing latency-sensitive interactive jobs using MLFQ-inspired techniques. Our evaluations show that Nixie improves latency of real interactive code-completion tasks by up to $3.8 imes$ and saves up to 66.8% CPU pinned memory usage given the same latency requirement.

研究の動機と目的

• rapidly changing, single-user workloadsを伴うコンシューマーGPUのメモリ過サブスクリプションとスラッシュを動機づけ、対応する。
• ドライバー/アプリ変更なしで協調型の計算とメモリ仮想化を提供するシステムを開発する。
• 待機遅延感度の高い対話型ワークロードを自動的に優先するMLFQ風スケジューラを設計する。
• CUDA割り当てチャンクレベルで階層的メモリシステムを跨いでメモリを管理し、UVM風のスラッシュ依存を排除する。

提案手法

• 軽量なNixie Shimを介したCUDA Runtime APIの介入と中央Nixie Daemonとの連携。
• 移行のためにCUDA割り当て（チャンク）単位でメモリを管理し、2 MBブロックに分割。
• グローバルプランナーを用いたクロス階層移動を可能にする4層メモリ階層（GPUメモリ、CPUピン留め、CPUページャブル、ディスク）。
• アプリケーションのデータが実行時にGPUメモリに存在するよう、スケジューリングとメモリ配置を結びつける。
• カーネル起動パターンから対話性を推定し、優先度を動的に調整するMLFQ風スケジューラを実装。
• コンテキストスイッチ時の移行待機を短縮するために次のアプリケーションのデータを事前取得する。

実験結果

リサーチクエスチョン

• RQ1 消費者向けGPUワークロードでほぼ満杯に近いGPUメモリをスラッシュを避けて効率的にマルチプレックスできるか。
• RQ2 デマンドページングを回避し、CPU-GPU帯域を完全活用するために計算とメモリを透明に管理できるか。
• RQ3 MLFQ風スケジューラはユーザー注釈なしで待機敏感な対話型ワークロードを自動的に優先できるか。
• RQ4 階層化されたCPU-GPUメモリシステム全体でメモリを管理して、スループットを維持しつつCPUピン留めメモリの使用を最小化できるか。

主な発見

• Nixieはベースラインと比較してコンテキストスイッチのオーバーヘッドを構成全体で29.1-82.3%削減。
• Nixieは対話的なコード補完の待機時間を3.1-3.8×改善。
• Nixieは同じ待機要件でCPUピン留めメモリの使用を最大66.8%節約。
• Nixieは双方向のホスト-GPU帯域を飽和させ、UVMに対してホスト-デバイス転送のスループットを約2×達成。
• Nixieはマルチアプリケーションを含む多様なワークロードで1.3-1.6×のスピードアップを提供。