[논문 리뷰] Large Language Models (LLMs): Deployment, Tokenomics and Sustainability

Haiwei Dong, Shuang Xie|arXiv (Cornell University)|2024. 05. 27.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 구현 전략—검색 증강 생성(Retrieval-Augmented Generation, RAG)과 피팅 튜닝(fine-tuning)을 분석하며, 훈련 및 추론에 필요한 xPU 자원을 정량화하고, 경험 품질(Quality-of-Experience, QoE) 관점에서 토큰오믹스(tokenomics)를 분석하고, 탄소 배출량 모델링을 통해 환경 지속 가능성도 평가한다. 또한 성능, 비용, 생태적 영향을 균형 잡는 데 초점을 맞춘 하이브리드 LLM 아키텍처를 제안하며, LLMCarbon은 밀도 높은 모델과 전문가의 혼합 모델(Mixture-of-Experts, MoE)에 대해 정확한 배출량 추정치를 제공한다.

ABSTRACT

The rapid advancement of Large Language Models (LLMs) has significantly impacted human-computer interaction, epitomized by the release of GPT-4o, which introduced comprehensive multi-modality capabilities. In this paper, we first explored the deployment strategies, economic considerations, and sustainability challenges associated with the state-of-the-art LLMs. More specifically, we discussed the deployment debate between Retrieval-Augmented Generation (RAG) and fine-tuning, highlighting their respective advantages and limitations. After that, we quantitatively analyzed the requirement of xPUs in training and inference. Additionally, for the tokenomics of LLM services, we examined the balance between performance and cost from the quality of experience (QoE)'s perspective of end users. Lastly, we envisioned the future hybrid architecture of LLM processing and its corresponding sustainability concerns, particularly in the environmental carbon footprint impact. Through these discussions, we provided a comprehensive overview of the operational and strategic considerations essential for the responsible development and deployment of LLMs.

연구 동기 및 목표

• 특수 도메인에서 LLM을 구현하기 위한 RAG와 피팅 튜닝 간의 상호 상충 관계를 분석하기 위해.
• 최신 LLM에서 훈련 및 추론에 필요한 xPU 자원 요구량을 정량화하기 위해.
• 경제적 및 환경적 지속 가능성의 측도로 경험 품질(Quality-of-Experience, QoE) 기반 토큰오믹스 프레임워크를 활용해 LLM 서비스의 지속 가능성을 평가하기 위해.
• LLMCarbon과 같은 고급 모델링 도구를 활용해 운영 및 내재된 탄소 배출량을 포함한 LLM의 탄소 배출량을 예측하고 평가하기 위해.
• 성능, 비용 효율성, 환경 영향을 균형 잡는 미래형 하이브리드 LLM 아키텍처를 설계하기 위해.

제안 방법

• RAG와 피팅 튜닝을 비교 분석하여 도메인 특화 지식 처리 및 컨텍스트 창 크기 제약에 대한 강점을 평가하였다.
• 실제 LLM 워크로드를 기반으로 훈련 및 추론에 필요한 xPU 컴퓨팅 요구량을 정량화하였으며, 클라우드, 퍼그, 엣지 인프라에서의 하드웨어 확장성에 중점을 두었다.
• 사용자 만족도와 시스템 효율성 요소를 고려해 서비스 성능과 비용을 균형 잡는 QoE 기반 토큰오믹스 모델을 통합하였다.
• LLMCarbon, 즉 종단 간 탄소 배출량 예측 모델을 적용하여, 밀도 높은 모델과 전문가의 혼합(Mixture-of-Experts, MoE) LLM 아키텍처의 배출량을 추정하였다.
• 통신 토폴로지(예: 패트리클리어, 드래곤파이어) 및 네트워크 계층(ToR, WAN, DCI)을 모델링하여 분산된 LLM 훈련 및 추론에서의 에너지 소비를 평가하였다.
• 경제적 타당성(가치 대 비용)과 환경 영향(재생 에너지 사용, 에너지 효율적 하드웨어, 저전력 AI 설계)이라는 이중적 관점에서 지속 가능성을 평가하였다.

실험 결과

연구 질문

• RQ1 RAG와 피팅 튜닝은 도메인 특화 LLM 구현에서 성능, 비용, 확장성 측면에서 어떻게 비교되는가?
• RQ2 현대 LLM에서 훈련 및 추론에 필요한 xPU 컴퓨팅 요구량은 무엇이며, 클라우드, 퍼그, 엣지 환경 간에 어떻게 확장되는가?
• RQ3 LLM 응용 프로그램에서 사용자 경험 품질(Quality-of-Experience, QoE)과 서비스 비용을 균형 잡기 위해 토큰오믹스는 어떻게 최적화될 수 있는가?
• RQ4 LLMCarbon은 MoE와 같은 복잡한 아키텍처에 대해 LLM의 탄소 배출량을 얼마나 정확하게 추정하는가?
• RQ5 성능, 비용 효율성, 환경 지속 가능성의 균형을 가장 잘 맞추는 하이브리드 LLM 처리 아키텍처는 무엇인가?

주요 결과

• LLMCarbon은 GPT-3 훈련의 탄소 배출량을 553.87 tCO₂eq로 추정하였으며, 실제 값 536.69 tCO₂eq와 비교해 0.32% 이내의 편차를 보이며 높은 정확도를 입증하였다.
• mlco2는 정점 전력 사용이 일정하다는 가정으로 운영 탄소 배출량을 69% 과대평가하여 현재 추정 도구의 한계를 드러냈다.
• RAG는 외부 지식과 소수의 예시를 검색함으로써 환각 현상과 컨텍스트 창 제약을 효과적으로 완화하여 사실 정확도를 향상시켰다.
• 피팅 튜닝은 도메인 특화 성능을 향상시키지만, 비용이 많이 들고 정제된 데이터셋이 필요하며, 동적 또는 드문 도메인 쿼리에 대해 RAG보다 적응성이 떨어진다.
• 중앙, 퍼그, 엣지 컴퓨팅을 통합하고 다중 모odal 처리를 지원하는 하이브리드 LLM 아키텍처는 확장성 있고 저지연, 에너지 효율적인 추론을 가능하게 한다.
• 환경 지속 가능성은 통합적 접근이 필요하다: 데이터 센터에서의 재생 에너지 사용, 에너지 효율적인 모델 아키텍처, 저전력 AI 하드웨어를 통해 내재 및 운영 탄소 배출량을 줄여야 한다.