[論文レビュー] Examining User-Friendly and Open-Sourced Large GPT Models: A Survey on Language, Multimodal, and Scientific GPT Models

Kaiyuan Gao, Sunan He+5 more|arXiv (Cornell University)|Aug 27, 2023

Topic Modeling被引用数 7

ひとこと要約

本サーベイは、アーキテクチャ、データキュレーション、効率的な微調整およびデプロイメント技術、ベンチマーク評価に焦点を当て、ユーザーフレンドリーでオープンソース、かつ比較的小さな大規模言語モデル（LLMs）の包括的分析を提供する。言語、マルチモーダル、科学的GPTモデルを評価し、人間による評価と自動評価を併用してモデル選定を支援するとともに、アクセス可能で効率的かつ信頼性のあるAI開発の今後の方向性を提示する。

ABSTRACT

Generative pre-trained transformer (GPT) models have revolutionized the field of natural language processing (NLP) with remarkable performance in various tasks and also extend their power to multimodal domains. Despite their success, large GPT models like GPT-4 face inherent limitations such as considerable size, high computational requirements, complex deployment processes, and closed development loops. These constraints restrict their widespread adoption and raise concerns regarding their responsible development and usage. The need for user-friendly, relatively small, and open-sourced alternative GPT models arises from the desire to overcome these limitations while retaining high performance. In this survey paper, we provide an examination of alternative open-sourced models of large GPTs, focusing on user-friendly and relatively small models that facilitate easier deployment and accessibility. Through this extensive survey, we aim to equip researchers, practitioners, and enthusiasts with a thorough understanding of user-friendly and relatively small open-sourced models of large GPTs, their current state, challenges, and future research directions, inspiring the development of more efficient, accessible, and versatile GPT models that cater to the broader scientific community and advance the field of general artificial intelligence. The source contents are continuously updating in https://github.com/GPT-Alternatives/gpt_alternatives.

研究の動機と目的

• 高コストな計算リソース、複雑なデプロイメント、透明性の欠如といった、大規模で閉鎖型のGPTモデルの限界を是正すること。
• リソースが限られた研究者や実務家が利用可能な、オープンソースで小規模かつユーザーフレンドリーな代替モデルを特定・分析し、強力なパフォーマンスを維持しつつもアクセスしやすいものであることを確認すること。
• 言語、マルチモーダル、科学的モデルにおける事前学習および微調整データの質、多様性、キュレーションの質を評価すること。
• モデルの能力を損なわずにリソース要件を削減する効率的なデプロイメントおよび微調整技術を調査すること。
• モデル選定を支援し、責任あるでアクセス可能なAI開発を促進するために、人間による評価とベンチマーク評価を提供すること。

提案手法

• アーキテクチャ設計、モデルサイズ、効率性のトレードオフに注目した、LLaMA2ベースのバリエーションを含むオープンソースGPTモデルの体系的サーベイ。
• 事前学習データソース、データ品質、量、多様性の分析に加え、アライメントおよびインstructチューニングデータへの重点的注目。
• 量子化、蒸留、パラメータ効率的適応（例：LoRAなど）を含む、効率的な推論および微調整技術のサーベイ。
• 標準化されたベンチマーク（例：MMLU、GSM8K）と人間による評価を用いたモデルの評価により、実世界での使いやすさとパフォーマンスを評価。
• 視覚とNLPの統合、および生物医学的・科学的文脈におけるドメイン特化適応に注目したマルチモーダルおよび科学的GPTモデルの調査。
• モデルの再現性およびデプロイメント支援のため、https://github.com/GPT-Alternatives/gpt_alternatives に最新のリポジトリを構築・保守すること。

実験結果

リサーチクエスチョン

• RQ1 小規模でオープンソースのGPTモデルが、リソース要件を大幅に削減しつつも高いパフォーマンスを達成できるような、アーキテクチャ的および設計的選択肢は何か？
• RQ2 事前学習および微調整データの質、多様性、キュレーションが、モデルのパフォーマンスおよびアライメントに与える影響は何か？
• RQ3 限られたハードウェア上でユーザーフレンドリーなGPTモデルの効率的デプロイメントおよび微調整を可能にする技術は何か？
• RQ4 言語、マルチモーダル、科学的タスクにおいて、ベンチマーク評価および人間評価でオープンソースGPTモデルはどのように比較されるか？
• RQ5 アクセス可能で信頼性があり、ドメイン特化された科学的基盤モデルを開発するにあたり、主な課題と今後の研究の方向性は何か？

主な発見

• LLaMA2ベースのユーザーフレンドリーでオープンソースのLLMsは、標準ベンチマークで優れたパフォーマンスを示す一方で、計算リソースとメモリ要件を顕著に削減している。
• 高品質で多様かつ注意深くキュレートされた事前学習およびインstructチューニングデータは、特に科学的およびマルチモーダルな文脈において、モデルのアライメントとパフォーマンスに不可欠である。
• LoRAや量子化などの効率的な微調整技術により、最小限の計算オーバーヘッドで小規模モデルを特殊タスクに効果的に適応できるようになった。
• 人間による評価では、LLaMA2およびそのバリエーションが、実世界の使用状況において、特許取得済みモデルとほぼ同等のパフォーマンスを達成していることが判明した。
• 科学的およびマルチモーダルGPTモデルは、生物学的医療分野や視覚言語タスク分野における研究の加速に有望であるが、データおよびドメイン特化適応が主な課題のままである。
• 継続的なオープンソースイニシャチブおよびリポジトリ（例：gpt_alternatives）は、再現性、デプロイメント、コミュニティ主導の開発を促進するための重要なインfraを提供している。