[논문 리뷰] Improving Large Models with Small models: Lower Costs and Better Performance

Chen Dong, Shuo Zhang외 5명|arXiv (Cornell University)|2024. 06. 15.

Scientific Computing and Data ManagementDecision Sciences인용 수 3

한 줄 요약

이 논문은 예측 신뢰도 기반으로 간단한 입력을 소형 모델에 오프로딩하여 대규모 언어 모델(Large Language Models, LLMs)의 성능을 햖저하는 협업 프레임워크인 Data Shunt+ (DS+)를 제안한다. 이로 인해 Amazon 감성 분석에서 ChatGPT의 정확도를 94.43%에서 95.64%로 높였고, LLM 추론 비용은 68.82% 감소시켰다. 이 방법은 동적 라우팅과 지식 정제를 통해 비용 효율적이고 성능 향상된 추론을 가능하게 한다.

ABSTRACT

Pretrained large models (PLMs), such as ChatGPT, have demonstrated remarkable performance across diverse tasks. However, the significant computational requirements of PLMs have discouraged most product teams from running or fine-tuning them. In such cases, to harness the exceptional performance of PLMs, one must rely on expensive APIs, thereby exacerbating the economic burden. Despite the overall inferior performance of small models, in specific distributions, they can achieve comparable or even superior results. Consequently, some input can be processed exclusively by small models. On the other hand, certain tasks can be broken down into multiple subtasks, some of which can be completed without powerful capabilities. Under these circumstances, small models can handle the simple subtasks, allowing large models to focus on challenging subtasks, thus improving the performance. We propose Data Shunt$^+$ (DS$^+$), a general paradigm for collaboration of small and large models. DS$^+$ not only substantially reduces the cost associated with querying large models but also effectively improves large models' performance. For instance, ChatGPT achieves an accuracy of $94.43\%$ on Amazon Product sentiment analysis, and DS$^+$ achieves an accuracy of $95.64\%$, while the cost has been reduced to only $31.18\%$. Besides, experiments also prove that the proposed collaborative-based paradigm can better inject specific task knowledge into PLMs compared to fine-tuning.

연구 동기 및 목표

• 실제 제품 배포 환경에서 대규모 미리 훈련된 언어 모델(PLMs)의 높은 추론 비용을 줄이기 위해.
• 간단하고 분포에 부합하는 입력에 대해 특화된 소형 모델을 활용하여 대규모 모델의 성능을 향상시키기 위해.
• 비싼 PLM API에 의존하지 않고도 소형 모델과 대규모 모델 간의 효율적인 협업을 가능하게 하기 위해.
• 표준 미세조정보다 더 효과적으로 작업에 특화된 지식을 PLMs에 통합하기 위해.

제안 방법

• DS+는 예측 신뢰도 기반으로 입력을 라우팅한다: 소형 모델의 예측 신뢰도가 임계값 δ를 초과하면 입력은 소형 모델에서만 처리되고, 그렇지 않으면 대규모 모델으로 전달된다.
• S4L(Small Model for Large Model) 모듈에서 프롬프트 자르기(PP)는 소형 모델의 출력 기반으로 낮은 신뢰도 클래스를 프롬프트에서 제거함으로써 대규모 모델의 예측 공간을 최적화한다.
• S4L에서의 프롬프트 전달(PT)은 소형 모델이 잘 수행하는 영역을 강조하도록 입력 프롬프트를 수정함으로써 소형 모델의 지식을 대규모 모델으로 전달한다.
• L4S(Large Model for Small Model) 모듈에서 2단계 신뢰도 정제(2CD)는 대규모 모델에서 소형 모델로 지식을 전달하여 미세조정 중 치명적인 기억 상실을 방지한다.
• 프레임워크는 예측 신뢰도 임계값 δ를 조정함으로써 비용과 성능 간의 균형을 동적으로 조절하며, 고성능 소형 모델의 경우 최적의 δ 값은 [0.97, 0.99] 범위 내에서 도출된다.
• 이 방법은 다중 모odal 및 다양한 작업에 대해 일반화 가능하며, 텍스트 분류 및 기타 NLP 벤치마크에서 이를 입증했다.

실험 결과

연구 질문

• RQ1 소형 모델의 신뢰도 기반으로 입력을 라우팅하면 대규모 모델의 성능을 향상시키면서 추론 비용을 줄일 수 있는가?
• RQ2 분포 기반 또는 예측 기반 라우팅과 비교해 신뢰도 기반 셰딩은 정확도와 비용 측면에서 어떻게 다른가?
• RQ3 대규모 모델에서의 지식 정제가 어려운 샘플에서 소형 모델의 성능을 향상시키면서 과적합을 방지할 수 있는가?
• RQ4 DS+ 프레임워크에서 비용 절감과 성능 향상 간의 균형을 이루는 최적의 신뢰도 임계값 δ는 무엇인가?
• RQ5 DS+ 프레임워크는 표준 미세조정보다 대규모 모델에 작업에 특화된 지식을 더 효과적으로 통합하는가?

주요 결과

• DS+는 ChatGPT의 Amazon 제품 감성 분석 정확도를 94.43%에서 95.64%로 향상시켜 1.21%의 성능 향상을 입증했다.
• DS+를 사용할 경우 대규모 모델 쿼리 비용은 원래 비용의 31.18%로 감소하여 추론 비용이 총 68.82% 감소했다.
• 성능이 높은 소형 모델(예: 미세조정된 BERT)의 경우 최적의 신뢰도 임계값 δ는 0.85까지 낮아질 수 있었고, 성능이 낮은 모델(예: LSTM)의 경우 δ는 0.97 이상이어야 했다.
• δ를 0.97에서 0.99로 증가시켰을 때, LSTM 기반 DS+의 정확도는 94.20%에서 94.45%로 약간 향상되었지만, 대규모 모델이 처리하는 샘플 비율은 54.66%에서 80.00%로 상승했다.
• 신뢰도 기반 셰딩은 분포 기반 및 예측 기반 라우팅보다 성능이 뛰어나며, 후자의 경우는 정확도 향상이 미미하고 안정성도 떨어졌다.
• 소형 모델의 분포 내 정확도가 높을 경우 DS+ 프레임워크는 대규모 모델 단독 사용보다 더 높은 성능을 달성하여 협업이 강건성과 효율성을 향상시킨다는 것을 입증했다.