[논문 리뷰] Understanding LLMs: A Comprehensive Overview from Training to Inference

Yiheng Liu, Hao He외 19명|arXiv (Cornell University)|2024. 01. 04.

Topic Modeling인용 수 14

한 줄 요약

이 논문은 대규모 언어 모델의 학습과 추론의 진화를 조사하며, 데이터 전처리, 아키텍처, 프롬프트 학습, 비용 효율적 솔루션으로의 배치 흐름을 다룬다.

ABSTRACT

The introduction of ChatGPT has led to a significant increase in the utilization of Large Language Models (LLMs) for addressing downstream tasks. There's an increasing focus on cost-efficient training and deployment within this context. Low-cost training and deployment of LLMs represent the future development trend. This paper reviews the evolution of large language model training techniques and inference deployment technologies aligned with this emerging trend. The discussion on training includes various aspects, including data preprocessing, training architecture, pre-training tasks, parallel training, and relevant content related to model fine-tuning. On the inference side, the paper covers topics such as model compression, parallel computation, memory scheduling, and structural optimization. It also explores LLMs' utilization and provides insights into their future development.

연구 동기 및 목표

• 통계적 기법에서 트랜스포머 기반 아키텍처로의 대규모 언어 모델(LLM)의 진화와 LLM의 등장 설명.
• 수십억 매개변수로의 확장을 가능하게 하는 학습 데이터 소스, 전처리 및 아키텍처 선택 요약.
• 전체 재훈련의 효율적 대안으로 프롬프트 학습, 미세조정, 정렬 접근 방식 논의.
• 비용 절감 및 확장성 향상을 목표로 한 추론, 배포 및 최적화 기법 검토.

제안 방법

• 역사적 및 현대의 LLM 학습 기법, 데이터 소스 및 전처리 방법을 검토하고 합성.
• 트랜스포머 기반 아키텍처(인코더-디코더 및 디코더 전용)와 LLM 확장에서의 역할 설명.
• 템플릿, 버버라이저(verbalizers), 학습 전략을 포함한 프롬프트 학습 패러다드를 설명.
• 모델 압축, 메모리 스케줄링, 구조 최적화와 같은 추론 및 배포 기법 고찰.

Figure 1: The figures from left to right represent the Encoder-decoder architecture, Causal Decoder architecture, Prefix Decoder architecture, and their mask configurations, respectively. This diagram illustrates the range of tokens that each input token can attend to.

실험 결과

연구 질문

• RQ1 대형 언어 모델을 학습하는 데 사용되는 주요 데이터 소스와 전처리 단계는 무엇인가?
• RQ2 트랜스포머 기반 아키텍처가 LLM을 어떻게 뒷받침하며 주요 학습 패러다임(사전학습, 미세조정, 프롬프트)의 트레이드오프는 무엇인가?
• RQ3 전체 모델 재훈련 없이 태스크 성능을 향상시키는 프롬프트 학습 기법과 템플릿은 무엇인가?
• RQ4 대규모에서 비용 효율적으로 LLM을 사용하도록 하는 추론 및 배포 전략은 무엇인가?
• RQ5 LLM 학습 및 배포의 향후 방향과 남은 과제는 무엇인가?

주요 결과

• LLMs는 인코더-디코더 또는 디코더 전용 구성의 트랜스포머 아키텍처를 기반으로 한다.
• 프롬프트 학습은 템플릿과 버버라이저를 사용하여 전체 미세조정에 비해 효율적인 대안을 제공한다.
• 데이터 전처리에는 필터링, 중복 제거, 개인정보 삭제, 유해성/편향 완화가 포함되어 안전성과 품질 향상을 도모한다.
• 추론 및 배포는 비용 절감을 위해 모델 압축, 병렬 계산, 메모리 스케줄링 및 구조 최적화에 중점을 둔다.
• 본 논문은 LLM의 저비용 학습 및 배포를 향한 미래 개발 동향을 다룬다.

Figure 2: Five collective communications that are used by parallel training methods.