[論文レビュー] Sustainable LLM Inference using Context-Aware Model Switching

Yuvarani, Akashdeep Singh+4 more|arXiv (Cornell University)|Feb 25, 2026

Big Data and Digital Economy被引用数 0

ひとこと要約

この論文は、文脈を意識したモデルスイッチングのフレームワークを提案し、キャッシュ、規則ベースの複雑さスコアリング、ML分類、そしてユーザー適応コンポーネントを用いて、出力品質を維持しつつエネルギー消費を削減するために、適切なサイズのモデルへ動的にLLMクエリをルーティングします。

ABSTRACT

Large language models have become central to many AI applications, but their growing energy consumption raises serious sustainability concerns. A key limitation in current AI deployments is the reliance on a one-size-fits-all inference strategy where most systems route every request to the same large model, regardless of task complexity, leading to substantial and unnecessary energy waste. To address this issue, we propose a context-aware model switching approach that dynamically selects an appropriate language model based on query complexity. The proposed system uses a Context-Aware Model Switching for Energy-Efficient LLM Inference that combines caching for repeated queries, rulebased complexity scoring for fast and explainable decisions, machine learning classification to capture semantic intent, and a user-adaptive component that learns from interaction patterns over time. The proposed architecture was evaluated using real conversation workloads and three open-source language models (Gemma3 1B, Gemma3 4B and Qwen3 4B) with different computational costs, measuring energy consumption (via NVML GPU power telemetry), response latency, routing accuracy, and output quality (BERTScore F1) to reflect real-world usage conditions. Experimental results show that the model switching approach can reduce energy consumption by up to 67.5% compared to always using the largest model while maintaining a response quality of 93.6%. In addition, the response time for simple queries also improved significantly by approximately 68%. These results show that model switching inference offers a practical and scalable path toward more energy-efficient and sustainable AI systems, demonstrating that significant efficiency gains can be achieved without major sacrifices in response quality.

研究の動機と目的

• 大規模モデル一辺倒のルーティングを避けてLLM推論のエネルギー消費を抑制する動機付け。
• クエリの複雑さと意味的意図に基づいてモデルを選択する文脈認識型スイッチングアーキテクチャを提案。
• オープンソースモデルを用いた実 workloadsでエネルギー削減と品質トレードオフを実証。
• キャッシュと適応学習を組み込み、ルーティング決定を時間とともに改善。

提案手法

• 繰り返しのクエリに対してキャッシュを利用し、冗長な計算を回避。
• 迅速で説明可能なルーティング決定を可能にする規則ベースの複雑さスコアリングを使用。
• クエリの意味的意図を捉えるために機械学習分類を適用。
• 時間とともに相互作用パターンから学ぶユーザー適応コンポーネントを組み込む。
• エネルギー、応答時間、ルーティング精度、出力品質のためにBERTScore F1を用いた評価をNVML GPU電力テレメトリで実施。
• 現実の会話ワークロード下でGemma3 1B、Gemma3 4B、Qwen3 4Bモデルを用いてテスト。

実験結果

リサーチクエスチョン

• RQ1 文脈認識型モデルスイッチングは、LLM推論において出力品質を犠牲にすることなくエネルギー消費を削減できるか。
• RQ2 キャッシュ、複雑さスコアリング、MLベースの意図分類は効果的なモデルルーティングにどのように寄与するか。
• RQ3 異なるクエリの複雑さに対して複数のオープンソースモデルを使用する場合、エネルギー、待機時間、ルーティング精度、品質にはどのような影響があるか。
• RQ4 ユーザー適応コンポーネントは長期的なルーティング決定を改善するか。

主な発見

• エネルギー消費は常に最大モデルを使用する場合と比べて最大67.5%削減可能。
• スイッチング下で応答品質は高水準を維持し、報告されたBERTScore F1は93.6%。
• 単純なクエリでは応答時間が約68%大幅に改善。
• 評価は実際の会話 workloads と3つのオープンソースモデル（Gemma3 1B、Gemma3 4B、Qwen3 4B）を用いて実施。
• システムはエネルギー消費を測定するためにNVML GPUテレメトリを使用。
• アーキテクチャはキャッシュ、規則ベースのスコアリング、ML分類、ユーザー適応コンポーネントを統合し、効率と品質のバランスを取る。