[논문 리뷰] The Efficiency Spectrum of Large Language Models: An Algorithmic Survey

Tianyu Ding, Tianyi Chen외 8명|arXiv (Cornell University)|2023. 12. 01.

Topic Modeling인용 수 11

한 줄 요약

데이터, 아키텍처, 학습/튜닝, 추론 전반에 걸친 LLM 효율성 향상을 위한 알고리즘적 접근법에 대한 포괄적 고찰로, pre-2023 work와 selected post-2023 contributions를 다룬다.

ABSTRACT

The rapid growth of Large Language Models (LLMs) has been a driving force in transforming various domains, reshaping the artificial general intelligence landscape. However, the increasing computational and memory demands of these models present substantial challenges, hindering both academic research and practical applications. To address these issues, a wide array of methods, including both algorithmic and hardware solutions, have been developed to enhance the efficiency of LLMs. This survey delivers a comprehensive review of algorithmic advancements aimed at improving LLM efficiency. Unlike other surveys that typically focus on specific areas such as training or model compression, this paper examines the multi-faceted dimensions of efficiency essential for the end-to-end algorithmic development of LLMs. Specifically, it covers various topics related to efficiency, including scaling laws, data utilization, architectural innovations, training and tuning strategies, and inference techniques. This paper aims to serve as a valuable resource for researchers and practitioners, laying the groundwork for future innovations in this critical research area. Our repository of relevant references is maintained at url{https://github.com/tding1/Efficient-LLM-Survey}.

연구 동기 및 목표

• End-to-end LLM 효율성의 필요성을 모델 크기만으로 정의하는 것을 넘어 정의하고 동기를 부여한다.
• 데이터, 아키텍처, 학습/튜닝, 추론 전반에서 효율성을 개선하는 알고리즘적 진보를 종합한다.
• 효율적인 LLM 개발을 위한 스케일링 법칙과 데이터 품질 고려사항을 강조한다.
• 향후 연구 및 실용적 배치를 지원하기 위한 참조 레포지토리 모음을 제공한다.

제안 방법

• LLM 효율성에 대한 기존 문헌을 알고리즘적 및 소프트웨어 관점에 중점을 두고 조사한다.
• 토의를 다섯 가지 핵심 차원으로 구성한다: 데이터 효율성, 아키텍처 효율성, 학습 및 튜닝 효율성, 추론 효율성, 예산/확장 인사이트.
• 효율성 평가 지표로 매개변수, 모델 크기, FLOPs, 대기시간, 메모리 풋프린트, 탄소 배출량 등을 논의한다.
• 주요 발견을 요약하고 향후 연구를 안내하기 위한 미해결 질문을 식별한다.

실험 결과

연구 질문

• RQ1 성능 저하 없이 LLM 효율성을 향상시키는 end-to-end 알고리즘 전략은 무엇이 있는가?
• RQ2 스케일링 법칙이 효율적인 LLM 개발을 위한 자원 예산 책정 및 모델/데이터 간의 트레이드오프에 어떤 정보를 제공하는가?
• RQ3 데이터 효율성, 아키텍처 선택, 학습/튜닝 방법, 추론 기술이 실용적 배포에 어떤 통찰을 제공하는가?
• RQ4 제한된 자원 하에서 효율성을 가장 효과적으로 향상시키는 데이터 품질 및 샘플링 접근법은 무엇인가?
• RQ5 LLM 효율성에 대한 증가하는 연구를 하나의 레포지토리로 모아주는 추가 리소스(저장소)는 무엇인가?

주요 결과

• 이 논문은 데이터, 아키텍처, 학습, 튜닝 및 추론을 아우르는 LLM 효율성에 대한 포괄적 시각을 제시한다.
• 스케일링 법칙이 계산 예산 결정 및 모델/데이터 트레이드오프를 어떻게 안내하는지 논의한다.
• 데이터 효율성을 개선하는 경로로 데이터 필터링, 활성 학습, 샘플링 전략을 검토한다.
• 효율성에 영향을 미치는 프롬프트 엔지니어링 및 정렬 방법을 포함한 아키텍처 및 학습/튜닝 혁신을 조사한다.
• 연구 저장소의 존재를 지적하고 2023년 이전에 초점을 두고 2023년 이후의 일부 기여를 강조한다.