[논문 리뷰] Examining User-Friendly and Open-Sourced Large GPT Models: A Survey on Language, Multimodal, and Scientific GPT Models

Kaiyuan Gao, Sunan He외 5명|arXiv (Cornell University)|2023. 08. 27.

Topic Modeling인용 수 7

한 줄 요약

이 종합적 서베이는 사용자 친화적이고 오픈소스이며 비교적 작은 대규모 언어 모델(Langauge Models, LLMs)에 대해 종합적인 분석을 제공하며, 아키텍처, 데이터 정제, 효율적인 피지테이닝 및 배포 기법, 벤치마킹을 중심으로 다룹니다. 언어, 다중모달, 과학적 GPT 모델을 평가하여 인간 평가와 자동화된 평가를 통해 선택 가이드를 제시하고 향후 접근 가능하고 효율적이며 신뢰할 수 있는 AI 개발을 위한 방향을 제시합니다.

ABSTRACT

Generative pre-trained transformer (GPT) models have revolutionized the field of natural language processing (NLP) with remarkable performance in various tasks and also extend their power to multimodal domains. Despite their success, large GPT models like GPT-4 face inherent limitations such as considerable size, high computational requirements, complex deployment processes, and closed development loops. These constraints restrict their widespread adoption and raise concerns regarding their responsible development and usage. The need for user-friendly, relatively small, and open-sourced alternative GPT models arises from the desire to overcome these limitations while retaining high performance. In this survey paper, we provide an examination of alternative open-sourced models of large GPTs, focusing on user-friendly and relatively small models that facilitate easier deployment and accessibility. Through this extensive survey, we aim to equip researchers, practitioners, and enthusiasts with a thorough understanding of user-friendly and relatively small open-sourced models of large GPTs, their current state, challenges, and future research directions, inspiring the development of more efficient, accessible, and versatile GPT models that cater to the broader scientific community and advance the field of general artificial intelligence. The source contents are continuously updating in https://github.com/GPT-Alternatives/gpt_alternatives.

연구 동기 및 목표

• 높은 계산 비용, 복잡한 배포, 투명성 부족 등의 문제를 겪는 대규모 비오픈소스 GPT 모델의 한계를 해결하기 위해.
• 자원이 제한된 연구자 및 전문가들이 접근 가능한 동시에 뛰어난 성능을 유지하는 오픈소스, 소형, 사용자 친화적 대안을 식별하고 분석하기 위해.
• 언어, 다중모달, 과학적 모델 전반에 걸쳐 사전학습 및 피지테이닝 데이터의 품질, 다양성, 정제 방식이 모델 성능과 일치성에 미치는 영향을 평가하기 위해.
• 모델의 능력 손실 없이 자원 요구량을 줄일 수 있는 효율적인 배포 및 피지테이닝 기법을 조사하기 위해.
• 모델 선택을 안내하고 책임감 있는 접근 가능성을 확보하기 위해 인간 평가 및 벤치마킹 평가를 제공하기 위해.

제안 방법

• LLaMA2 기반 변형 모델을 포함한 오픈소스 GPT 모델에 대한 체계적 서베이를 수행하여 아키텍처 설계, 모델 크기, 효율성 간 상호 트레이드오프를 분석함.
• 사전학습 데이터 소스, 데이터 품질, 양, 다양성 분석에 중점을 두고, 일치성 및 지시 훈련 데이터에 대한 고려를 포함함.
• 정량화, 디스틸레이션, 파라미터 효율적 적응(예: LoRA 등)을 포함한 효율적 추론 및 피지테이닝 기법에 대한 서베이 수행.
• 표준화된 벤치마크(예: MMLU, GSM8K) 및 인간 평가를 활용하여 실제 사용 환경에서의 유용성과 성능을 평가함.
• 다중모달 및 과학적 GPT 모델에 대한 탐구를 통해 시각과 NLP의 통합 및 생물의학 및 과학적 맥락에서의 도메인 특화 적응에 초점을 맞춤.
• 모델 재현성 및 배포 지원을 위해 https://github.com/GPT-Alternatives/gpt_alternatives 에 최신 상태의 레포지터리 구축 및 유지 관리.

실험 결과

연구 질문

• RQ1 어떤 아키텍처적 및 설계적 선택이 더 작은 오픈소스 GPT 모델이 자원 요구량을 줄이고도 높은 성능을 달성할 수 있도록 하는가?
• RQ2 사전학습 및 피지테이닝 데이터의 품질, 다양성, 정제 방식이 모델 성능과 일치성에 어떤 영향을 미치는가?
• RQ3 제한된 하드웨어 환경에서 사용자 친화적인 GPT 모델의 효율적 배포 및 피지테이닝을 가능하게 하는 기법은 무엇인가?
• RQ4 언어, 다중모달, 과학적 작업 전반에서 오픈소스 GPT 모델의 표준 벤치마크 평가 및 인간 평가 결과는 어떻게 비교되는가?
• RQ5 접근 가능하고 신뢰할 수 있으며 도메인 특화된 과학 기초 모델 개발을 위한 주요 과제와 향후 연구 방향은 무엇인가?

주요 결과

• LLaMA2 기반과 같은 사용자 친화적 오픈소스 LLM은 표준 벤치마크에서 뛰어난 성능을 보이며, 계산 및 메모리 요구량을 크게 줄임.
• 높은 품질, 다양한 출처, 철저히 정제된 사전학습 및 지시 훈련 데이터는 특히 과학적 및 다중모달 환경에서 모델의 일치성과 성능 향상에 핵심적임.
• LoRA 및 정량화와 같은 효율적 피지테이닝 기법은 최소한의 계산 오버헤드로 소형 모델을 전문화된 작업에 효과적으로 적응시키는 데 기여함.
• 인간 평가 결과에 따르면, LLaMA2 및 그 변형 모델들은 실제 사용 시나리오에서 비오픈소스 모델과 거의 경쟁 가능한 성능을 달성함.
• 과학적 및 다중모달 GPT 모델은 생물의학 및 시각-언어 작업 분야에서 연구 속도 향상에 잠재력을 보이며, 데이터 및 도메인 특화 적응이 여전히 핵심 과제로 남아 있음.
• 지속적인 오픈소스 이니셔티브 및 레포지터리(예: gpt_alternatives)는 재현성, 배포, 커뮤니티 주도 개발을 위한 핵심 인프라를 제공함.