[論文レビュー] Joint Encoding of KV-Cache Blocks for Scalable LLM Serving

Joseph Kampeas, Emir Haleva|arXiv (Cornell University)|Jan 6, 2026

Multimodal Machine Learning Applications被引用数 0

ひとこと要約

paper は Batch Fast-Fusion (BFF) と Chunks Fast-Fusion (CFF) を用いて Fast Fusion (FF) を提案し、リクエストとチャンク全体で KV-cache ブロックを共同でエンコードすることで、精度を維持したまま最大 4.38× の KV-cache 圧縮と現実世界のスループット向上を LLM サービングで実現します。

ABSTRACT

Modern large language models (LLMs) drive interactive AI systems but are bottlenecked by the memory-heavy growth of key-value (KV) caches, which limits real-time throughput under concurrent loads. Existing KV-cache compression methods rely on rigid heuristics, disrupt tensor layouts, or require specialized compute, hindering scalability and deployment. We propose joint encoding of KV-cache blocks, which fuses similar blocks across requests and input chunks into shared representations while preserving standard cache structure. This alleviates the KV-cache memory bottleneck, supporting high-concurrency serving without specialized hardware. Theoretically, we analyze the rate-distortion tradeoff of fused cache blocks under a Poisson process model. Empirically, our method achieves up to 4.38 $ imes$ KV-cache compression with negligible accuracy loss across diverse LLMs and benchmarks, outperforming recent structured and adaptive compression baselines. In real LLM serving, joint encoding improves the token throughput by $\sim$40\% on a single-machine vLLM benchmark, demonstrating substantial gains in inference throughput. Code is available at https://github.com/sef1/kv_fast_fusion kv_joint_encoding.

研究の動機と目的

• 高い同時処理での KV-cache メモリのボトルネックに対処する。
• プレフィックス共有を類似だが非同一のブロックへ拡張する一般的なブロック共有機構を開発する。
• 標準の KV-cache 構造を維持しつつ、高い圧縮と計算の再利用を実現する。

提案手法

• cosine 類似度が閾値を超える場合に類似 KV ブロックを共同でエンコードする Fast-Fusion (FF) を提案する。
• 2 つの融合方式を実装する：Request 全体での Batch Fast-Fusion (BFF) と入力チャンク全体での Chunks Fast-Fusion (CFF)。
• スケーラブルな融合のために O(B log B) および O(C log C) の複雑さを達成する木構造の融合戦略を用いる。
• 融合ブロックを共有ユニットベクトルとブロック別ノルムで表現し、情報を保持し注意計算での再利用を可能にする。
• 類似度閾値と圧縮・歪みを関連付けるポアソン点過程モデルを用いた確率論的/解析的 rate-distortion バックボーンを提供する。

実験結果

リサーチクエスチョン

• RQ1 リクエストとチャンク全体で類似 KV ブロックを共同エンコードすることで、KV-cache メモリをどれだけ節約できるか？
• RQ2 類似度閾値の関数として、圧縮率と精度（歪み）のトレードオフはどのようになるか？
• RQ3 BFF と CFF は異種ワークロード下でのデコードスループット、プリフィル再利用、ネットワーク帯域にどのような影響を与えるか？
• RQ4 融合ブロックを標準の vLLM ライク KV-cache レイアウトへ、テンソル構造を乱すことなく効率的に統合できるか？
• RQ5 レイヤごとの圧縮挙動を説明する理論的保証やモデル（rate-distortion, Poisson過程）はあるか、また自動閾値適応を可能にするか？

主な発見

• 多様な LLM およびベンチマークで、ほとんど精度低下を伴わず最大 4.38× の KV-cache 圧縮を達成した。
• BFF は Llama3.1-8B および Qwen2.5-72B に対してバッチサイズ 128–64 で ~3.11×〜4.38× の圧縮をもたらし、F1 スコアは維持または向上。
• CFF は長インプットタスクでプリフィル再利用ブロックを最大 ~3.25× 減少させ、精度低下は最小限。
• エンドツーエンドの単一マシンのスループットは実運用シナリオで向上し、TTFT が短縮され、実質的なバッチ処理が増加する一方、より大きな GEMM によるデコード相での待機 latency がある。
• Poisson 過程による理論分析は、類似度閾値と rate-distortion を結びつけ、層ごとの圧縮と歪みを予測し、自動閾値適応を可能にする。