[논문 리뷰] Efficient and Green Large Language Models for Software Engineering: Literature Review, Vision, and the Road Ahead

Jieke Shi, Zhou Yang외 1명|arXiv (Cornell University)|2024. 04. 06.

Software System Performance and Reliability인용 수 4

한 줄 요약

이 논문은 소프트웨어 공학 분야에서 효율적이고 친환경적인 대규모 언어 모델(Large Language Models, LLMs)을 주장하며, 계산 비용과 환경 영향을 줄이기 위한 연구 로드맵을 제안한다. 모델 압축, 추론 가속화, 프로그램 최적화, 효율적인 코드를 통한 피지터링을 강조하여 접근 가능하고 고성능이며 지속 가능한 LLM4SE 솔루션을 실현한다.

ABSTRACT

Large Language Models (LLMs) have recently shown remarkable capabilities in various software engineering tasks, spurring the rapid growth of the Large Language Models for Software Engineering (LLM4SE) area. However, limited attention has been paid to developing efficient LLM4SE techniques that demand minimal computational cost, time, and memory resources, as well as green LLM4SE solutions that reduce energy consumption, water usage, and carbon emissions. This paper aims to redirect the focus of the research community towards the efficiency and greenness of LLM4SE, while also sharing potential research directions to achieve this goal. It commences with a brief overview of the significance of LLM4SE and highlights the need for efficient and green LLM4SE solutions. Subsequently, the paper presents a vision for a future where efficient and green LLM4SE revolutionizes the LLM-based software engineering tool landscape, benefiting various stakeholders, including industry, individual practitioners, and society. The paper then delineates a roadmap for future research, outlining specific research paths and potential solutions for the research community to pursue. While not intended to be a definitive guide, the paper aims to inspire further progress, with the ultimate goal of establishing efficient and green LLM4SE as a central element in the future of software engineering.

연구 동기 및 목표

• 현재 LLM4SE 솔루션의 높은 계산 비용과 환경 영향으로 인해 개인 개발자와 스타트업이 접근하기 어려운 문제를 해결한다.
• 장기적인 학습 시간, 높은 메모리 사용량, 지연과 자원 요구로 인한 느린 추론 등 LLM4SE의 효율성 문제를 극복한다.
• 학습 및 추론 과정에서의 에너지 소비와 이산화탄소 배출량을 최소화하여 LLM4SE의 환경적 영향을 줄인다.
• 실행 시간과 메모리 사용량 측면에서 인간이 작성한 코드보다 성능이 열 劣한 경우가 많은 LLM이 생성한 코드의 효율성과 지속 가능성을 향상시킨다.
• 개인용 기기와 저자원 환경에서도 구현이 가능한 솔루션을 통해 LLM4SE의 광범위한 도입을 가능하게 한다.

제안 방법

• 성능을 훼손하지 않으면서 모델 크기와 추론 비용을 줄이기 위해 지식 증류, 양자화, 자르기와 같은 모델 압축 기법을 제안한다.
• 입력의 복잡도에 따라 적응적으로 더 작거나 빠른 모델을 선택하는 동적 및 계층적 추론 전략을 탐색하여 대규모·저속도 LLM에 대한 의존도를 낮춘다.
• LLM 추론 속도를 향상시키기 위해 사전 추측 및 비자기적 생성 방법을 연구하여 반응 시간을 개선하고 에너지 소비를 줄인다.
• 기존 프로그램 분석 도구(예: 코드 완성 엔진 등)와 LLM을 통합하여 비현실적인 출력을 조기에 걸러내 추론 효율성을 높인다.
• CPU/GPU 병렬 처리 및 백엔드 라이브러리와 같은 하드웨어 특성에 맞게 자동으로 최적화하는 프로그램 변환 도구를 개발한다.
• 사전 제거, 최적화 플래그 조정 등의 컴파일러 수준 최적화를 통해 LLM 추론 파이프라인의 실행 오버헤드를 줄인다.

실험 결과

연구 질문

• RQ1 학습 및 추론 과정에서 시간, 메모리, 에너지 소비 측면에서 LLM4SE 솔루션의 효율성을 어떻게 높일 수 있는가?
• RQ2 정확성이나 기능을 훼손하지 않으면서 소프트웨어 공학 작업에서 LLM 추론 속도를 어떻게 가속화할 수 있는가?
• RQ3 LLM이 생성한 코드를 어떻게 최적화하여 실행 시간과 메모리 사용량에서 인간이 작성한 코드와 동등하거나 이를 초월할 수 있는가?
• RQ4 정적 분석 및 프로그램 검증 도구와의 통합은 LLM4SE 파이프라인의 효율성과 지속 가능성에 어떤 역할을 할 수 있는가?
• RQ5 인간이 작성한 효율적인 코드를 기반으로 LLM을 피지터링하여 기본적으로 고성능이고 저에너지 소비를 하는 코드를 생성할 수 있는가?

주요 결과

• 현재 LLM4SE 솔루션은 비용과 자원 소비가 지나치게 높아, GPT-3 학습 비용이 400만 달러가 넘고 클라우드 추론 비용이 월 20만 달러에 이를 정도로 접근이 어렵다.
• LLaMA 모델 학습은 2,638MWh의 에너지를 소비하고 약 1,300톤의 CO₂를 배출하여 LLM의 환경 비용을 명확히 드러낸다.
• 개인용 기기에서의 LLM 추론은 높은 메모리 요구로 인해 여전히 실현 가능하지 않아 오프라인 및 저지연 배포가 제한된다.
• LLM이 생성한 코드는 실행 시간과 메모리 사용량 측면에서 인간이 작성한 코드보다 떨어지는 경향이 있어 소프트웨어의 경쟁력 저하를 초래한다.
• 사전 추측 추론과 비자기적 생성 같은 기법은 추론 속도를 향상시킬 수 있지만, LLM4SE 분야에선 아직 탐색이 부족한 상태이다.
• 사전 제거, 컴파일러 플래그 조정, 하드웨어 인식 컴파일러를 통한 LLM 추론 코드 최적화는 에너지 소비를 크게 줄이고 효율성을 향상시킬 수 있다.