[論文レビュー] RLHFless: Serverless Computing for Efficient RLHF

Rui Wei, Hanfei Yu+6 more|arXiv (Cornell University)|Feb 26, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

RLHFlessは、サーバーレスでコスト効率の高い同期RLHFトレーニングを実現し、適応リソースと事前計算技術を提供して、RLHFワークフローをより速く、安価にします。

ABSTRACT

Reinforcement Learning from Human Feedback (RLHF) has been widely applied to Large Language Model (LLM) post-training to align model outputs with human preferences. Recent models, such as DeepSeek-R1, have also shown RLHF's potential to improve LLM reasoning on complex tasks. In RL, inference and training co-exist, creating dynamic resource demands throughout the workflow. Compared to traditional RL, RLHF further challenges training efficiency due to expanding model sizes and resource consumption. Several RLHF frameworks aim to balance flexible abstraction and efficient execution. However, they rely on serverful infrastructures, which struggle with fine-grained resource variability. As a result, during synchronous RLHF training, idle time between or within RL components often causes overhead and resource wastage. To address these issues, we present RLHFless, the first scalable training framework for synchronous RLHF, built on serverless computing environments. RLHFless adapts to dynamic resource demands throughout the RLHF pipeline, pre-computes shared prefixes to avoid repeated computation, and uses a cost-aware actor scaling strategy that accounts for response length variation to find sweet spots with lower cost and higher speed. In addition, RLHFless assigns workloads efficiently to reduce intra-function imbalance and idle time. Experiments on both physical testbeds and a large-scale simulated cluster show that RLHFless achieves up to 1.35x speedup and 44.8% cost reduction compared to the state-of-the-art baseline.

研究の動機と目的

• モデルサイズとリソース需要の増大に伴うRLHFトレーニング効率の改善を Motivate（動機付け）する。
• サーバー運用RLHFインフラストラクチャにおけるアイドル時間とリソースのばらつきによる非効率を解決する。
• ダイナミックなRLHFワークロードに適応するスケーラブルなサーバーレスフレームワークを導入する。
• 冗長な計算を削減し、アイドル時間と不均衡を最小化するためのワークロードを平準化する。

提案手法

• 動的リソース需要を扱うようRLHFパイプラインをサーバーレス環境に適応する。
• RLHFワークフローにおける繰り返し計算を避けるために共有プリフィクスを事前計算する。
• 応答長の変動を考慮したコスト意識型アクタースケーリング戦略を実装する。
• 機能間の不均衡とアイドル時間を減らすための効率的なワークロード割り当て。
• 物理的なテストベッドと大規模シミュレーションクラスタでRLHFlessを評価する。

実験結果

リサーチクエスチョン

• RQ1 サーバーレスコンピューティングをどのように活用して同期RLHFトレーニングを効率的に実行できるか。
• RQ2 アイドル時間とコストを削減する手法（例：事前計算、コスト意識型スケーリング）はどうか。
• RQ3 資源条件を変化させた場合に、最新ベースラインと比較してRLHFlessは速度とコストの点でどの程度高いか。
• RQ4 RLHFパイプラインで機能内の不均衡を最小化するワークロード管理戦略は何か。

主な発見

• RLHFlessはベースラインに対して最大で1.35xのスピードアップを達成。
• RLHFlessはベースラインと比較してコストを最大で44.8%削減。
• 本フレームワークは動的リソース需要に適応し、事前計算とワークロードの平準化によってアイドル時間を削減。
• 物理的テストベッドと大規模シミュレートクラスタでの実験は効率向上を検証する。