[論文レビュー] Routing to the Expert: Efficient Reward-guided Ensemble of Large Language Models

Keming Lu, Hongyi Yuan+5 more|arXiv (Cornell University)|Nov 15, 2023

Topic Modeling被引用数 4

ひとこと要約

Zooterは、事前学習済みの報酬モデルから専門知識のシグナルを蒸留し、クエリを最も適切な大規模言語モデル（LLM）にルーティングする報酬誘導型ルーティング手法を提案する。この手法により、報酬モデルによる順位付けと同等のパフォーマンスを達成しながら、1クエリあたり1つのモデルしか推論しないことで推論コストを大幅に削減する。

ABSTRACT

The complementary potential of Large Language Models (LLM) assumes off-the-shelf LLMs have heterogeneous expertise in a wide range of domains and tasks so that an ensemble of LLMs can achieve consistently better performance. Existing ensemble methods for LLMs mainly focus on reward model ranking of outputs, leading to significant computation overhead. To combat this issue, we revisit the complementary potential of LLMs and further elaborate it by mining latent expertise with off-the-shelf reward models. We propose Zooter, a reward-guided routing method distilling rewards on training queries to train a routing function, which can precisely distribute each query to the LLM with expertise about it. We also integrate a tag-based label enhancement to mitigate noise from uncertainty when using rewards as silver supervision. Zooter shows computation efficiency in inference as it introduces only a minor computation overhead of a routing function compared with reward model ranking methods. We evaluate Zooter on a comprehensive benchmark collection with 26 subsets on different domains and tasks. Zooter outperforms the best single model on average and ranks first on 44% of tasks, even surpassing multiple reward model ranking methods.

研究の動機と目的

• すべてのモデルから応答を生成する必要があるため、従来のLLMアンサンブル手法の高い推論コストを解消すること。
• 市販のLLMがドメインやタスクごとに異なった専門知識を有しており、効率的なルーティングが可能かどうかを調査すること。
• 報酬モデルの出力を銀の教師信号として活用し、計算コストを抑えた効率的なルーティング機構を開発すること。
• タグベースのラベル強化を用いて、報酬モデルの不確実性に起因するノイズを軽減すること。
• 最小限の推論オーバーヘッドで、多様なベンチマークにおいてルーティング手法の有効性を評価すること。

提案手法

• Zooterは、多様な訓練クエリセット上で市販の報酬モデル（例：QwenRM、UltraRM）の報酬を蒸留し、軽量なルーティング関数を学習する。
• ルーティング関数は、報酬スコアに基づき、各入力クエリを予測された最も適切なLLMに割り当てる。これにより、1クエリあたり1つのモデルの推論に限定され、推論コストが最小限に抑えられる。
• サンプルレベルの報酬と粗い粒度のタグレベルの報酬を組み合わせるタグベースのラベル強化技術により、報酬モデルの不確実性に起因するノイズを低減する。
• 訓練中に細粒度の報酬スコアとタグレベルの事前知識の寄与度を調整するためのハイパーパrameter β を使用する。
• 報酬モデル出力からの蒸留を用いてエンドツーエンドにルーティングモデルを学習し、完全なアンサンブル生成を伴わずに効率的な推論を実現する。
• 本手法は4つのドメインにまたがる26のベンチマークサブセットで評価され、BMAおよびRMR手法と比較されている。

実験結果

リサーチクエスチョン

• RQ1 報酬モデルの出力を間接的教師信号として用いることで、市販のLLMをそのドメイン固有の専門知識に適切にルーティングできるか？
• RQ2 報酬モデルの不確実性は、クエリルーティング関数の学習にどのように影響を及ぼし、それを緩和できるか？
• RQ3 軽量なルーティング関数は、大幅に計算コストを削減しつつ、完全な報酬モデル順位付けと同等のパフォーマンスを達成できるか？
• RQ4 ルーティング精度の向上に寄与するための、サンプルレベル報酬とタグレベル報酬の最適なバランスは何か？
• RQ5 複数のLLMをルーティングによって統合することで、多様なタスクにおいて最良の単一モデルを上回ることができるか？

主な発見

• Zooterは26のベンチマークサブセットの平均で、最良の単一LLMを上回り、44%のタスクで最先端のパフォーマンスを達成した。
• MT-BenchではBMAよりも0.39点高いスコアを記録し、アンサンブルベースライン手法に比して一貫した改善を示した。
• わずか8600万パラメータで構成されるZooterのルーティングオーバーヘッドは、すべてのモデルの推論を要する報酬モデル順位付けよりも顕著に低い。
• 最適なタグベースのラベル強化ハイパーパrameter β = 0.3 が最良のパフォーマンスを示し、サンプルレベルとタグレベルの報酬を組み合わせることで耐性が向上することを示した。
• β = 0（タグレベル報酬の蒸留）は β = 1（サンプルレベル報酬のみの蒸留）よりも優れた性能を示し、報酬の不確実性に起因するノイズが学習に悪影響を及えることを確認した。
• OAssistRM、LLM-Blender、Auto-Jと比較して、Zooterははるかに少ない計算量でRMRを上回るパフォーマンスを達成した。