[논문 리뷰] Do Generative Large Language Models need billions of parameters?

Sia Gholami, Marwan Omar|arXiv (Cornell University)|2023. 09. 12.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 임bedding 레이어 인화와 층 간 파라미터 공유를 통해 파라미터 수를 줄이는 GPT-Efficio를 제안한다. 이는 훨씬 적은 파라미터로도 경쟁 가능한 성능을 달성함으로써, 강력한 생성 능력을 위해 수십억 개의 파라미터가 반드시 필요하지 않음을 보여준다.

ABSTRACT

This paper presents novel systems and methodologies for the development of efficient large language models (LLMs). It explores the trade-offs between model size, performance, and computational resources, with the aim of maximizing the efficiency of these AI systems. The research explores novel methods that allow different parts of the model to share parameters, reducing the total number of unique parameters required. This approach ensures that the model remains compact without sacrificing its ability to learn and represent complex language structures. This study provides valuable insights and tools for creating more efficient and effective LLMs, contributing to a more sustainable and accessible future for AI language modeling.

연구 동기 및 목표

• 생성형 대규모 언어 모델이 높은 성능을 내기 위해 실제로 수십억 개의 파라미터가 필요한지 조사하기 위해.
• 모델 학습 및 배포와 관련된 계산 및 에너지 비용을 줄이기 위해 파라미터 수를 최소화함으로써.
• 새로운 파라미터 공유 및 인화 기법을 통해 모델의 효율성, 접근성, 지속 가능성 향상.
• 자원이 제한된 장치 및 자원이 부족한 환경에서 고급 NLP 기능의 배포 가능하게 하기 위해.
• 계층 간 및 임베딩 구성 요소 간에 파라미터를 전략적으로 공유함으로써 모델의 표현력과 복잡성의 균형을 맞추기 위해.

제안 방법

• 고차원 임베딩을 낮은 질량의 행렬로 분해함으로써 입력 프로젝션 레이어의 파라미터 수를 줄이는 임베딩 레이어 인화를 적용한다.
• 여러 트랜스포머 레이어 간에 파라미터를 공유하여, 동일한 가중치를 다양한 레이어에 연결함으로써 고유 파라미터 수를 줄인다.
• 레이어 간에 공통된 어텐션 및 피드포워드 네트워크 구조를 사용하여 모델 아키텍처의 중복을 최소화한다.
• 파라미터 수가 감소함에도 불구하고 성능을 유지하기 위해 수정된 학습 목표를 사용하며, 주의 깊은 초기화 및 정규화를 시행한다.
• 모델 깊이와 작업 복잡도에 따라 파라미터 공유의 정도를 제어할 수 있는 메커니즘을 도입한다.
• 다양한 NLP 벤치마크에서 공유된 파라미터와 고유 파라미터를 비교한 추론 실험을 통해 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 전략적 파라미터 공유를 통해 생성형 트랜스포머 모델이 훨씬 적은 파라미터로도 강력한 성능을 유지할 수 있는가?
• RQ2 임베딩 레이어 인화가 대규모 언어 모델의 모델 용량과 추론 품질에 어떤 영향을 미치는가?
• RQ3 레이어 간 파라미터 공유 시 모델 효율성, 학습 안정성, 성능 간의 상충 관계는 어떻게 발생하는가?
• RQ4 일반화 능력이나 제어 가능성에 손상이 가지 않도록 하면서 파라미터 공유가 계산 및 에너지 비용을 얼마나 줄일 수 있는가?
• RQ5 어떤 NLP 작업에서 파라미터 공유가 성능 저하 없이 가장 높은 효율성 향상을 가져오는가?

주요 결과

• 제안된 GPT-Efficio 모델은 표준 대규모 언어 모델보다 훨씬 적은 파라미터를 가짐에도 불구하고 표준 NLP 벤치마크에서 경쟁 가능한 성능을 달성한다.
• 임베딩 레이어 인화로 인해 입력 프로젝션 레이어의 파라미터 수가 최대 70%까지 감소되었고, 성능 저하 없이 유지되었다.
• 층 간 파라미터 공유로 총 고유 파라미터 수가 약 40-50% 감소했으며, 텍스트 생성 및 질의 응답 작업에서 경쟁 가능한 정확도를 유지했다.
• 기본 모델과 동일한 아키텍처를 가졌지만 파라미터 공유가 없는 경우에 비해 더 빠른 학습 수렴과 낮은 추론 지연을 보였다.
• 실험 결과에 따르면 파라미터 공유가 자원이 제한된 데이터 및 분포 외 데이터에서 일반화 능력을 향상시켜 과적합 위험을 줄였다.
• 추론 실험 결과, 파라미터 공유가 어텐션 및 피드포워드 서브레이어에 적용되었을 때 가장 효과적이며, 모든 구성 요소에 적용할 경우 수익 감소 현상이 나타났다.