[論文レビュー] AutoMix: Automatically Mixing Language Models

Pranjal Aggarwal, Aman Madaan+11 more|arXiv (Cornell University)|Oct 19, 2023

Topic Modeling被引用数 5

ひとこと要約

AutoMix は、少量のショット自己検証とメタ検証者を用いて、コストパフォーマンスのトレードオフを最適化する、ブラックボックスでAPIベースの方法である。LLaMA2-13B と LLaMA2-70B を用いた5つの文脈に基づく推論タスクにおいて、コスト単位あたりの段階的利得を最大89%向上させる。

ABSTRACT

Large language models (LLMs) are now available from cloud API providers in various sizes and configurations. While this diversity offers a broad spectrum of choices, effectively leveraging the options to optimize computational cost and performance remains challenging. In this work, we present Automix, an approach that strategically routes queries to larger LMs, based on the approximate correctness of outputs from a smaller LM. Central to Automix are two key technical contributions. First, it has a few-shot self-verification mechanism, which estimates the reliability of its own outputs without requiring extensive training. Second, given that self-verification can be noisy, it employs a POMDP based router that can effectively select an appropriately sized model, based on answer confidence. Experiments across five language models and five challenging datasets show that Automix consistently surpasses strong baselines, reducing computational cost by over 50% for comparable performance.

研究の動機と目的

• モデルの重み、勾配、ログティのアクセスが得られない状況において、多様なブラックボックス LLM API を効率的に活用する課題に対処すること。
• より大きなモデルに解けないクエリをルーティングするのを避けることで、計算コストを削減すること。
• 自己検証のノイズが大きいという問題を、メタ検証者メカニズムによって改善すること。
• モデルの混合における効率性を定量化するための新しい指標、段階的利得コスト比（ibc）を導入すること。
• 専用の検証者をトレーニングすることが現実的でないような低データ環境における効果的なモデル切り替えを可能にすること。

提案手法

• 入力文脈に対する回答の正しさを評価するために、文脈に基づく含意を自己検証メカニズムとして少量のショットプロンプティングを用いる。
• POMDPに基づくメタ検証者を採用し、初期の自己検証の信頼性を評価することで、ルーティング意思決定におけるノイズを低減する。
• メタ検証者の出力に基づき、自己検証が不確実または否定的である場合にのみ、クエリをより大きな言語モデルにルーティングする。
• 三段階のルーティング意思決定を導入する：回答を受容（正しく）、ルーティングを拒否（誤り／不確実）、または解けないものとしてマーク。
• 完全にブラックボックスのAPIアクセスのみを用い、ファインチューニング、モデル重み、ログティへのアクセスは一切不要。
• 人間によるアノテーションデータが不要な文脈に基づく検証を活用し、生成された回答と入力文脈の不整合を検出する。

Figure 1 : AutoMix : Given a context (like an article) and a question $q$ , an initial answer ( 1890 AD ) is generated with the smaller language model ( SLM ). The answer is self-verified by the SLM , yielding a noisy verification score. The Meta-Verifier subsequently assesses verifier’s results. Ba

実験結果

リサーチクエスチョン

• RQ1 モデルの重みにアクセスできない状況でも、文脈に基づく含意を用いた少量のショット自己検証が、推論タスクにおける回答の正しさを信頼性を持って評価できるか。
• RQ2 ブラックボックス LLM 環境下で、信頼性の低い自己検証出力からのノイズを、メタ検証者がどれほど効果的に低減できるか。
• RQ3 低データおよび高計算リソース環境下で、AutoMix がベースラインと比較して優れたコストパフォーマンストレードオフを達成できるか。
• RQ4 「解けない」というカテゴリを導入することで、計算効率とルーティングの正確性にどのような影響があるか。
• RQ5 限られたデータ（例：200件）しか利用できない状況で、AutoMix はトレーニング済みの検証者と比較してどの程度の性能を示すか。

主な発見

• AutoMix は、5つの文脈に基づく推論データセットにおいて、既存のベースラインと比較して、コスト単位あたりの段階的利得（ibc）を最大89%向上させる。
• 2000件未満のトレーニングデータの制限下でも、AutoMix はドメイン特化トレーニングを用い、検証者コストがゼロの FrugalGPT よりも顕著に優れた性能を示す。
• メタ検証者がノイズの多い自己検証出力を精練することで、ルーティングの正確性が向上し、初期の検証者が弱くても堅牢性を示す。
• 少量のショット自己検証は、文脈との不整合（例：「水中生物」の文脈で「砂漠の動物」が言及された場合）を効果的に検出できる。
• AutoMix は低データ環境でも優れた性能を維持し、ラベル付きデータが限られる現実世界の展開において有望である。
• 「解けない」というカテゴリの導入により、本質的に解けないクエリに対して無駄なルーティングが回避され、計算の無駄が削減される。

Figure 4 : Left: Aggregated performance vs. cost for different methods on the small and large LLaMa2-13/70b . POMDP based meta-verifier is consistenly in the green region, signifying a higher Incremental Benefit per Cost ( ibc ). Right: The accuracy of the meta-verifier for both POMDP and Verifier-S