[論文レビュー] A Practical Tensor-Network Compression Pipeline for Production-Scale Large Language Models

Sergii Kozyrev, Davyd Maiboroda|arXiv (Cornell University)|Feb 2, 2026

Tensor decomposition and applications被引用数 0

ひとこと要約

Minimaは、品質に最小限の低下を伴いつつ約2倍のVRAM削減と約2倍のスループットを実現する実用的なエンドツーエンドのテンソルネットワークベース圧縮パイプラインを32B LLM向けに提示し、さらなるスピードアップのための推測デコードを示す。

ABSTRACT

Large language models are limited in deployment by GPU memory and inference latency. We present Minima, a production compression pipeline that learns where and how to structurally compress a Transformer and turns that compression into real serving gains. Minima trains a lightweight convolutional predictor to estimate layer- and patch-level sensitivity, applies a mixture of Tucker, tensor-train, and tensor-ring decompositions to low-sensitivity regions, performs a short healing fine-tune, and executes the resulting operators with custom Triton and CUDA kernels. The reduced memory footprint enables speculative decoding with a small draft model and a larger verifier. On Qwen3-32B at an 8k-token context window, Minima reduces peak VRAM from 64 GiB to 40 GiB. For a single active request, throughput increases from 40 tokens per second (baseline) to 50 tokens per second (Minima) and 75 tokens per second (Minima with speculative decoding). Under 50 parallel requests, throughput is 34, 44, and 53 tokens per second respectively, showing that Minima remains effective under high concurrency even when speculative decoding gains compress. We position Minima relative to recent tensor-network, low-rank plus quantization, and cross-layer sharing methods, and argue that it is a practical step toward more aggressive structural compression via shared tensor backbones with tiny per-layer adapters.

研究の動機と目的

• 大規模言語モデルの生産準備が整った圧縮を、メモリフットプリントとレイテンシを大きな再学習なしに削減することを動機づける。
• 分析、圧縮、修復、カーネル最適化、推測デコードの5段階パイプラインを開発し、スケール展開を可能にする。
• 学習済み感度モデルに導かれた混合 Tucker/TT/TR テンソルネットワークアプローチが、精度を保持しつつ大幅な高速化を達成できることを示す。
• 実用的なカーネル最適化と推測デコードを示し、コモディティGPUでの追加スループットを解放する。

提案手法

• TN圧縮に対する層ごとおよびパッチごとの感度を予測する軽量CNNを訓練する。
• 低感度パッチには Tucker、TT、TR の混合分解を適用してパラメータを約35–40%削減する。
• 圧縮前の性能を大半回復するための短い修復微調整を実施する。
• TNマトmulとアテンションを最適化したカスタム Triton/CUDA カーネルを実装し、ベースラインのスループオートを回復または超過達成する。
• draftモデルと検証用の verifier を用いた推測デコードを有効にして、KVキャッシュ容量を減らさずTPSを向上させる。

実験結果

リサーチクエスチョン

• RQ1 CNN-guided感度モデルはLLMにおけるテンソルネットワーク圧縮の安全域を信頼性高く特定できるか。
• RQ2 8Kコンテキストでの32Bモデルに対する混合TN分解（Tucker/TT/TR）によって得られるスループットとメモリの利得はどの程度か。
• RQ3 提案された圧縮と修復戦略の下で、品質はどれだけ失われるか（パープレキシティとタスク精度）。
• RQ4 カーネル最適化と推測デコードは本番的なサービングシナリオでどの程度の実質的利点をもたらすか。

主な発見

モデル	パラメータ数（B）	ピークVRAM（GiB）	TPS @8K	備考
Baseline LLM	32.0	64	40	全密度重み（フルランク）
Minima	20.8	40	50	混合TN圧縮 + 修復 + 最適化カーネル
Minima + Spec	20.8	42	75	+ ドラフト/検証推測デコード

• Minimaは約36%のモデルパラメータ削減と約37%のピークVRAM削減を8Kコンテキストで実現。
• 圧縮とカーネル最適化によりTPSが約40→約50に向上し、推測デコードにより約75TPSへとさらなる改善。
• パープレキシティは相対的に最大約3%増加し、ベンチマークの精度は基準値の±1ポイントの範囲内に留まる。
• 学習済み感度モデルにより一様な階数選択よりも積極的な圧縮が可能となり、混合TNタイプは単一TNを上回る。
• 推測デコードは単一要求系でより大きな利得を生み出すが、同時実行が多い場合には効果が大きくはない。