[논문 리뷰] AutoMix: Automatically Mixing Language Models

Pranjal Aggarwal, Aman Madaan외 11명|arXiv (Cornell University)|2023. 10. 19.

Topic Modeling인용 수 5

한 줄 요약

AutoMix는 소형 및 대형 언어모델 간에 쿼리를 동적으로 라우팅하기 위해 소수의 예시를 통한 자기 검증과 메타-검증자를 사용하는 블랙박스, API 기반 방법이다. 이는 비용-성능 트레이드오프를 최적화하며, LLaMA2-13B와 LLaMA2-70B를 사용하여 다섯 가지 문맥 기반 추론 작업에서 단위 비용당 증분 수익을 최대 89% 향상시킨다.

ABSTRACT

Large language models (LLMs) are now available from cloud API providers in various sizes and configurations. While this diversity offers a broad spectrum of choices, effectively leveraging the options to optimize computational cost and performance remains challenging. In this work, we present Automix, an approach that strategically routes queries to larger LMs, based on the approximate correctness of outputs from a smaller LM. Central to Automix are two key technical contributions. First, it has a few-shot self-verification mechanism, which estimates the reliability of its own outputs without requiring extensive training. Second, given that self-verification can be noisy, it employs a POMDP based router that can effectively select an appropriately sized model, based on answer confidence. Experiments across five language models and five challenging datasets show that Automix consistently surpasses strong baselines, reducing computational cost by over 50% for comparable performance.

연구 동기 및 목표

• 모델 가중치, 기울기, 로짓에 접근할 수 없는 다양한 블랙박스 LLM API를 효율적으로 활용하는 데 도전한다.
• 더 큰 모델에 해결 불가능한 쿼리를 라우팅하는 것을 방지함으로써 계산 비용을 줄인다.
• 자기 검증이 노이즈가 많을 수 있으므로, 메타-검증자 메커니즘을 통해 신뢰성을 향상시킨다.
• 모델 혼합의 효율성을 정량화하기 위해 새로운 지표인 단위 비용당 증분 수익(incremental benefit per unit cost, ibc)을 도입한다.
• 전문적인 검증자를 훈련시키기 어려운 저데이터 환경에서 효과적인 모델 전환을 가능하게 한다.

제안 방법

• 입력 문맥에 기반하여 정답의 정확성을 평가하기 위해, 문맥 기반 함의를 수행하는 소수의 예시 프롬프팅을 사용하는 자기 검증 메커니즘을 구현한다.
• 자기 검증의 신뢰성을 평가하기 위해 POMDP 기반의 메타-검증자를 활용하여 라우팅 결정의 노이즈를 감소시킨다.
• 메타-검증자의 출력에 따라 자기 검증이 불확실하거나 부정적인 경우에만 쿼리를 더 큰 언어모델로 라우팅한다.
• 세 클래스의 라우팅 결정을 도입한다: 정답 수락(정확함), 거부 및 라우팅(부정확/불확실함), 해결 불가능으로 표시.
• 모델 미세조정, 모델 가중치, 로짓에 대한 액세스 없이도 블랙박스 API 접근만으로도 작동한다.
• 인간 레이블이 없는 데이터를 사용하여 생성된 정답과 입력 문맥 간의 일관성 불일치를 탐지하기 위해 문맥 기반 검증을 활용한다.

Figure 1 : AutoMix : Given a context (like an article) and a question $q$ , an initial answer ( 1890 AD ) is generated with the smaller language model ( SLM ). The answer is self-verified by the SLM , yielding a noisy verification score. The Meta-Verifier subsequently assesses verifier’s results. Ba

실험 결과

연구 질문

• RQ1 모델 가중치에 접근할 수 없는 환경에서, 문맥 기반 함의를 사용하는 소수의 예시 자기 검증이 추론 작업에서 정답의 정확성을 신뢰성 있게 평가할 수 있는가?
• RQ2 블랙박스 LLM 환경에서 신뢰할 수 없는 자기 검증 출력의 노이즈를 줄이기 위해 메타-검증자가 얼마나 효과적인가?
• RQ3 저데이터 및 고계산 환경에서 AutoMix가 기준 모델 대비 뛰어난 비용-성능 트레이드오프를 달성할 수 있는가?
• RQ4 '해결 불가능' 카테고리 도입이 계산 효율성과 라우팅 정확도에 어떤 영향을 미치는가?
• RQ5 제한된 데이터(예: 200개 샘플)만을 사용해 메타-검증자 훈련을 수행할 경우, AutoMix는 훈련된 검증자 대비 어떻게 성능을 내는가?

주요 결과

• AutoMix는 다섯 가지 문맥 기반 추론 데이터셋에서 기존 기준 모델 대비 단위 비용당 증분 수익(ibc)을 최대 89% 향상시켰다.
• 훈련 데이터가 제한된 경우(2000개 이하), FrugalGPT는 도메인 특화 훈련을 사용하고 검증자 비용이 0이지만, AutoMix는 그에 비해 뚜렷이 뛰어난 성능을 보였다.
• 메타-검증자가 노이즈가 많은 자기 검증 출력을 개선함으로써 라우팅 정확도를 향상시켰으며, 초기 검증자가 약할지라도 강건성을 입증했다.
• 소수의 예시 자기 검증은 특히 사실 불일치가 발생하는 경우(예: '수생 생물' 문맥에서 '사막 동물' 언급) 정답과 문맥 간의 일관성 불일치를 효과적으로 탐지했다.
• AutoMix는 저데이터 환경에서도 뛰어난 성능을 유지하여, 레이블이 부족한 실세계 환경에서의 구현 가능성을 보여주었다.
• '해결 불가능' 카테고리의 포함은 본질적으로 해결 불가능한 쿼리에 대해 더 큰 모델로의 불필요한 라우팅을 방지하여 계산 낭비를 줄였다.

Figure 4 : Left: Aggregated performance vs. cost for different methods on the small and large LLaMa2-13/70b . POMDP based meta-verifier is consistenly in the green region, signifying a higher Incremental Benefit per Cost ( ibc ). Right: The accuracy of the meta-verifier for both POMDP and Verifier-S