[논문 리뷰] Beyond Efficiency: A Systematic Survey of Resource-Efficient Large Language Models

Guangji Bai, Zheng Chai외 12명|arXiv (Cornell University)|2024. 01. 01.

Topic Modeling인용 수 38

한 줄 요약

이 논문은 아키텍처, 사전 학습, 미세 조정, 추론 및 시스템 설계에 걸친 LLM의 리소스 효율성을 향상시키는 기술을 조사하고, 분류 체계와 표준화된 평가 벤치마크를 제안합니다.

ABSTRACT

The burgeoning field of Large Language Models (LLMs), exemplified by sophisticated models like OpenAI's ChatGPT, represents a significant advancement in artificial intelligence. These models, however, bring forth substantial challenges in the high consumption of computational, memory, energy, and financial resources, especially in environments with limited resource capabilities. This survey aims to systematically address these challenges by reviewing a broad spectrum of techniques designed to enhance the resource efficiency of LLMs. We categorize methods based on their optimization focus: computational, memory, energy, financial, and network resources and their applicability across various stages of an LLM's lifecycle, including architecture design, pretraining, finetuning, and system design. Additionally, the survey introduces a nuanced categorization of resource efficiency techniques by their specific resource types, which uncovers the intricate relationships and mappings between various resources and corresponding optimization techniques. A standardized set of evaluation metrics and datasets is also presented to facilitate consistent and fair comparisons across different models and techniques. By offering a comprehensive overview of the current sota and identifying open research avenues, this survey serves as a foundational reference for researchers and practitioners, aiding them in developing more sustainable and efficient LLMs in a rapidly evolving landscape.

연구 동기 및 목표

• LLM 리소스 효율성에 관련된 자원(계산, 메모리, 에너지, 비용, 커뮤니케이션)에 대한 체계적 분류 체계를 정의한다.
• LLM 수명 주기에 걸친 기술 전반에 대한 포괄적 조사를 제공하여 리소스 효율성을 향상시킨다.
• 리소스 효율적 방법들의 공정한 비교를 위한 지표와 데이터세트를 표준화한다.
• 연구 및 실무를 안내하기 위한 격차, 도전 과제 및 향후 방향을 식별한다.

제안 방법

• 리소스 유형과 수명 주기 단계(아키텍처 설계, 사전 학습, 미세 조정, 추론, 시스템 설계)에 따라 리소스 효율 기술을 분류한다.
• 효율적인 Transformer 아키텍처, 근사 주의 메커니즘, 가지치기, 양자화, 증류 및 시스템 수준 최적화를 포함한 광범위한 기술을 검토하고 비교한다.
• 리소스 효율성 평가를 위한 지표와 데이터세트를 포함하는 표준화된 평가 프레임워크를 제안한다.
• 기존 문헌을 바탕으로 개방형 과제와 향후 연구 방향을 종합한다.

실험 결과

연구 질문

• RQ1 LLM 효율성에 있어 가장 중요한 자원 유형은 무엇이며 이를 다루기 위해 기술들을 어떻게 구성해야 하는가?
• RQ2 LLM 수명 주기 전반에서 가장 높은 리소스 효율을 달성하는 건축적, 학습 및 시스템 전략은 무엇인가?
• RQ3 리소스 효율적 LLM들의 공정한 비교를 가능하게 하도록 평가 지표와 벤치마크를 어떻게 표준화할 수 있는가?
• RQ4 지속 가능하고 접근 가능한 리소스 효율적 LLM 개발에서 핵심 격차와 열린 과제는 무엇인가?
• RQ5 커뮤니티가 연구를 실제 배치 및 리소스 효율성의 윤리적 고려와 더 잘 일치시키려면 어떻게 해야 하는가?

주요 결과

• 본 연구는 기술을 자원 유형과 수명 주기 단계에 매핑한 구조화된 분류 체계를 제공합니다.
• 효율적인 주의 메커니즘, 하드웨어 인식 주의, 비트랜스포머 아키텍처, 사전 학습의 메모리 및 데이터 효율성, 매개변수 효율적 미세 조정, 시스템 수준 배치 전략 등 광범위한 방법을 다룹니다.
• 모델과 기술 간의 일관된 비교를 가능하게 하는 표준화된 지표와 데이터세트가 제안됩니다.
• 논문은 병목 현상과 향후 연구를 지속 가능하고 접근 가능한 LLMs 방향으로 이끄는 개방형 질문을 식별합니다.