[論文レビュー] Multilevel Large Language Models for Everyone

Yuanhao Gong|arXiv (Cornell University)|Jul 25, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、マルチレベル大規模言語モデル（MLLM）を提案する。MLLMは、グローバル、分野特化型、個人用の大規模言語モデルを統合する階層的フレームワークであり、効率性、機微性、パフォーマンスの向上を図るものである。大規模なクラウドベースのモデルを、特化型でローカルに実行される個人用モデルに知識蒸留することで、冗長性を低減し、応答速度を向上させるとともに、ユーザーのデータを保護する。さらに、ブロックチェーンに基づく経済モデルを統合し、高品質なユーザー入力を促進し、開発を分散化することで、より広範なアクセス性を実現する。

ABSTRACT

Large language models have made significant progress in the past few years. However, they are either generic {\it or} field specific, splitting the community into different groups. In this paper, we unify these large language models into a larger map, where the generic {\it and} specific models are linked together and can improve each other, based on the user personal input and information from the internet. The idea of linking several large language models together is inspired by the functionality of human brain. The specific regions on the brain cortex are specific for certain low level functionality. And these regions can jointly work together to achieve more complex high level functionality. Such behavior on human brain cortex sheds the light to design the multilevel large language models that contain global level, field level and user level models. The user level models run on local machines to achieve efficient response and protect the user's privacy. Such multilevel models reduce some redundancy and perform better than the single level models. The proposed multilevel idea can be applied in various applications, such as natural language processing, computer vision tasks, professional assistant, business and healthcare.

研究の動機と目的

• 汎用的で分野特化型の大規模言語モデルを、パフォーマンスと効率性を向上させる包括的で階層的なシステムに統合すること。
• 大規模言語モデルにおけるプライバシーと計算の非効率性を解消するため、ユーザーのデバイスにローカルにモデルをデプロイすること。
• マルチレベルの蒸留と特化によって、モデルの冗長性を低減し、応答速度を向上させること。
• 高品質なユーザー入力にインcentivizeを提供し、LLM開発の障壁を下げる分散型でブロックチェーン統合型の経済モデルを開発すること。
• 訓練と推論をユーザーとデバイスに分散させることで、LLM技術へのより広範なアクセスを可能にすること。

提案手法

• グローバルLLM（広範なデータで事前学習されたクラウドベース）、分野レベルLLM（医療や金融など分野に特化した分野で微調整・蒸留されたモデル）、ユーザーレベルLLM（個人デバイスにさらに蒸留されローカルにデプロイされるモデル）の3段階アーキテクチャを提案。
• 大規模モデルから小規模で高速かつプライバシー保護型のローカルモデルへの知識蒸留を実施。
• ユーザーが分散型ノードとして機能し、計算リソースを提供してサービスを受け取る仕組みをブロックチェーンベースで導入し、相互に利益を生む経済的インcentiveを創出。
• ユーザー入力を、すべてのレベルでモデルの改善に寄与する貴重なリソースとして扱い、階層全体にわたるモデル最適化にフィードバックを統合。
• ブロックチェーンアーキテクチャを模倣した分散型で並列処理可能な計算モデルを設計し、スケーラブルかつ安全なモデル訓練と推論を支援。
• 脳の皮質機能的特化を生物学的アナロジーとして採用：低レベルの特化型領域が協働することで高レベルの認知が可能になるのと同様に、各レベルのモデル間の相互作用を模倣。

実験結果

リサーチクエスチョン

• RQ1 グローバル、分野特化型、個人用の大規模言語モデルを、パフォーマンスと効率性を向上させる階層的構造でどのように統合できるか？
• RQ2 蒸留されたモデルをローカルにデプロイすることで、応答速度とユーザーのプライバシーが向上し、高精度を維持できるか？
• RQ3 ユーザー入力を、すべてのレベルで改善に寄与する貴重なリソースとして体系的に活用する方法は何か？
• RQ4 分散型のLLM開発を促進し、高品質な貢献をインcentivizeするための経済的・技術的メカニズムは何か？
• RQ5 ブロックチェーンベースのインfraは、スケーラブルで安全かつ効率的なマルチレベルLLMの訓練と推論を支えることができるか？

主な発見

• マルチレベルフレームワークにより、グローバル、分野特化型、個人用の各段階にモデル特化を分散させることで、冗長性が低減され、効率性が向上する。
• ユーザーレベルLLMのローカルデプロイにより、クラウドオンリーモデルと比較して、推論速度が向上し、プライバシー保護が強化される。
• 提案されたシステムは、大規模なグローバルモデルから、各段階のより小さな応用特化型モデルへの効率的知識蒸留をサポートする。
• ユーザー入力を、すべてのレベルでモデル改善に寄与する貴重でインcentivize付きのリソースとして扱い、システム全体のパフォーマンス向上に貢献する。
• ブロックチェーンの統合により、ユーザーと開発者が計算とサービスの交換で相互に利益を得る分散型で自己持続的な経済モデルが実現される。
• 本フレームワークは、自然言語処理、コンピュータビジョン、医療、ビジネスインテリジェンスなど多様な応用に拡張可能であり、広範な適用可能性を示している。