[論文レビュー] GlimpRouter: Efficient Collaborative Inference by Glimpsing One Token of Thoughts

Wenhao Zeng, Xuteng Zhang+5 more|arXiv (Cornell University)|Jan 8, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

GlimpRouterは各推論ステップの最初のトークンを見て閾値を超えた場合に大規模モデルへルーティングする軽量モデルを用い、初期トークンのエントロピーが高いときにレイテンシを低減しつつ精度を保持または向上させる。

ABSTRACT

Large Reasoning Models (LRMs) achieve remarkable performance by explicitly generating multi-step chains of thought, but this capability incurs substantial inference latency and computational cost. Collaborative inference offers a promising solution by selectively allocating work between lightweight and large models, yet a fundamental challenge remains: determining when a reasoning step requires the capacity of a large model or the efficiency of a small model. Existing routing strategies either rely on local token probabilities or post-hoc verification, introducing significant inference overhead. In this work, we propose a novel perspective on step-wise collaboration: the difficulty of a reasoning step can be inferred from its very first token. Inspired by the "Aha Moment" phenomenon in LRMs, we show that the entropy of the initial token serves as a strong predictor of step difficulty. Building on this insight, we introduce GlimpRouter, a training-free step-wise collaboration framework. GlimpRouter employs a lightweight model to generate only the first token of each reasoning step and routes the step to a larger model only when the initial token entropy exceeds a threshold. Experiments on multiple benchmarks demonstrate that our approach significantly reduces inference latency while preserving accuracy. For instance, GlimpRouter attains a substantial 10.7% improvement in accuracy while reducing inference latency by 25.9% compared to a standalone large model on AIME25. These results suggest a simple yet effective mechanism for reasoning: allocating computation based on a glimpse of thought rather than full-step evaluation.

研究の動機と目的

• 大規模推論モデルの推論レイテンシを低減する動機付けとして、困難なステップのみを大規模モデルにオフロードする。
• 推論ステップの初期トークンがステップの難易度を予測できるかを調査する。
• オーバーヘッドを最小化した、トレーニング不要のステップ認識協調フレームワーク（GlimpRouter）を提案する。
• GlimpRouterの有効性を多様な推論タスクで示し、トークンレベルの速度向上との互換性を示す。

提案手法

• 推論ステップの不確実性分布を分析し、初期トークンエントロピー（H_init）をステップ難易度の強力な予測因子として特定する。
• GlimpRouterを導入し、各ステップの最初のトークンを小型モデルで検査し、H_initが高い場合に大規模モデルへルーティングする閾値を用いるトレーニング不要のフレームワークを提案する。
• Probe-then-Dispatch機構を実装する：低H_initは全ステップを小型モデルに委任；高H_initは大規模モデルで介入する。
• プレフィックスキャッシュと効率的なコンテクストスイッチングでルーティングオーバーヘッドを最小化する。
• Draft-then-Verifyを含む階層的加速でスループットを向上させる。小型モデルをドラフターとして大規模モデルを補完し、局所ステップのスピードアップには推定的デコードを組み込む。
• GlimpRouterはトークンレベルの手法と直交しており、推定的デコードと組み合わせることで複合的な速度向上を実現できる。

実験結果

リサーチクエスチョン

• RQ1 初期トークンのエントロピー（H_init）は推論ステップの難易度を信頼性高く示すか。
• RQ2 トレーニング不要のステップ指向GlimpRouterルーティング戦略は、多様なベンチマークで精度を損なうことなくレイテンシを低減できるか。
• RQ3 初期トークンベースのルーティングは推定的デコードなどのトークンレベルの加速技術と直交するか。
• RQ4 ルーティング閾値がタスク間の精度-レイテンシトレードオフに与える影響はどのようか。

主な発見

• H_initは二峰性の重尾分布を示し、ルーティング決定の判別信号として有用である。
• GlimpRouterは大規模モデル単独と比較してレイテンシを大幅に削減（例：AIME25で25.9%）し、精度を向上させる（10.7%）。
• ステップ単位のベースラインと比べて、GlimpRouterは複数のベンチマークでパレート効率が優れている。
• 本手法は推定的デコードと直交しており、トークンレベルの加速技術と組み合わせることでさらなる速度向上を実現可能である。
• 介入率が約20-30%のとき、データセット全体で顕著な性能向上を示す。