[논문 리뷰] The Costly Dilemma: Generalization, Evaluation and Cost-Optimal Deployment of Large Language Models

Abi Aryan, Aakash Kumar Nain외 3명|arXiv (Cornell University)|2023. 08. 15.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 대규모 언어 모델(LLM)을 구현할 때의 일반화, 평가 가능성, 비용 최적화라는 삼위일체의 문제를 다루는 프레임워크를 제안한다. 이는 종종 상충되는 목표들을 균형 있게 조율하기 위한 체계적인 접근법을 제공하며, 기업이 실생산 환경에서 LLM 개발, 구현, 운영 비용을 효과적으로 관리할 수 있도록 실용적인 통찰을 제공한다.

ABSTRACT

When deploying machine learning models in production for any product/application, there are three properties that are commonly desired. First, the models should be generalizable, in that we can extend it to further use cases as our knowledge of the domain area develops. Second they should be evaluable, so that there are clear metrics for performance and the calculation of those metrics in production settings are feasible. Finally, the deployment should be cost-optimal as far as possible. In this paper we propose that these three objectives (i.e. generalization, evaluation and cost-optimality) can often be relatively orthogonal and that for large language models, despite their performance over conventional NLP models, enterprises need to carefully assess all the three factors before making substantial investments in this technology. We propose a framework for generalization, evaluation and cost-modeling specifically tailored to large language models, offering insights into the intricacies of development, deployment and management for these large language models.

연구 동기 및 목표

• 실제 LLM 구현에서 일반화, 평가 가능성, 비용 최적화를 균형 있게 조율하는 데 도전하는 것.
• 실제로는 상호 수직적(orthogonal)으로 간주되는 이 세 가지 목표 간의 내재된 갈등을 규명하는 것.
• 확장 가능하고 측정 가능하며 경제적으로 지속 가능한 구현을 지원하는 맞춤형 LLM 라이프사이클 관리 프레임워크를 제공하는 것.
• 기업이 대규모 언어 모델에 투자할 때 정보 기반의 비용 효율적인 결정을 내리는 데 도움을 주는 것.
• 측정 가능하고 실현 가능한 지표로 실생산 환경에서 LLM 성능을 평가할 수 있는 기반을 마련하는 것.

제안 방법

• 모델 일반화, 평가 가능성, 구현 비용 간의 상호작용을 모델링하는 3차원 프레임워크를 제안한다.
• 다양한 LLM 구현 구성에서 추론, 피팅 튜닝, 인프라 비용을 정량화하는 비용 모델링 구성 요소를 도입한다.
• 실생산 환경에서 실현 가능하면서도 엄밀한 평가 프로토콜을 설계한다.
• 재학습 비용을 줄이고 다양한 도메인에 걸쳐 적용 가능성을 높이기 위해 일반화 능력을 향상시키는 모듈러한 적응 전략을 통합한다.
• 평가, 비용, 일반화 구성 요소를 분리하여 독립적으로 최적화할 수 있도록 모듈러 아키텍처를 설계한다.
• 실제 구현 사례에 프레임워크를 적용하여 상충 관계와 운영 가능성을 검증한다.

실험 결과

연구 질문

• RQ1 LLM 구현에서 일반화, 평가 가능성, 비용 최적화를 어떻게 체계적으로 균형 있게 조율할 수 있는가?
• RQ2 일반화와 비용 최적화가 실생산 환경에서 평가 가능성과 얼마나 충돌하는가?
• RQ3 기업이 이 세 가지 목표 간의 상충 관계를 평가하고 관리할 수 있는 실용적 프레임워크는 무엇인가?
• RQ4 실시간 LLM 시스템에서 의미 있고 계산적으로 실현 가능한 평가 지표는 어떻게 설계할 수 있는가?
• RQ5 투명하고 확장 가능하며 지속 가능한 LLM 구현 결정을 내리기 위한 비용 모델링 접근법은 무엇인가?

주요 결과

• 일반화와 비용 최적화는 종종 실생산 환경에서 평가 가능성과 충돌하며, 이를 체계적으로 조율할 필요가 있다.
• 제안된 프레임워크는 기업이 LLM 추론, 피팅 튜닝, 인프라 비용을 척도 기반으로 정량화하고 관리할 수 있도록 한다.
• 성능 측정의 무결성을 훼치지 않으면서도 평가 프로토콜을 실용적이고 확장 가능하게 만들 수 있다.
• 재학습 비용을 줄이고 다양한 도메인에 걸쳐 적용 가능성을 높이기 위해 모듈러한 적응 전략을 통해 일반화 능력을 향상시킬 수 있다.
• 프레임워크는 모델 성능이나 평가의 엄밀함을 희생시키지 않고도 비용 최적화를 달성할 수 있음을 입증한다.
• 실증적 검증을 통해 프레임워크는 측정 가능한 비용과 성능 결과를 바탕으로 변화하는 사용 사례에 걸쳐 지속 가능한 구현을 지원하는 것으로 나타났다.