[論文レビュー] GradientCoin: A Peer-to-Peer Decentralized Large Language Models

Yeqi Gao, Zhao Song+1 more|arXiv (Cornell University)|Aug 21, 2023

Blockchain Technology Applications and Security被引用数 6

ひとこと要約

GradientCoinは、ビットコインのブロックチェーンアーキテクチャを模倣した、ピアツーピアで分散型の枠組みを提供し、勾配ベースの合意形成メカニズムを通じて信頼できない分散型のモデル学習を可能にする。このシステムは、勾配の暗号的検証によりモデルの整合性を保証し、強い凸性と滑らかさの仮定の下で理論的収束保証を達成する。

ABSTRACT

Since 2008, after the proposal of a Bitcoin electronic cash system, Bitcoin has fundamentally changed the economic system over the last decade. Since 2022, large language models (LLMs) such as GPT have outperformed humans in many real-life tasks. However, these large language models have several practical issues. For example, the model is centralized and controlled by a specific unit. One weakness is that if that unit decides to shut down the model, it cannot be used anymore. The second weakness is the lack of guaranteed discrepancy behind this model, as certain dishonest units may design their own models and feed them unhealthy training data. In this work, we propose a purely theoretical design of a decentralized LLM that operates similarly to a Bitcoin cash system. However, implementing such a system might encounter various practical difficulties. Furthermore, this new system is unlikely to perform better than the standard Bitcoin system in economics. Therefore, the motivation for designing such a system is limited. It is likely that only two types of people would be interested in setting up a practical system for it: $\bullet$ Those who prefer to use a decentralized ChatGPT-like software. $\bullet$ Those who believe that the purpose of carbon-based life is to create silicon-based life, such as Optimus Prime in Transformers. The reason the second type of people may be interested is that it is possible that one day an AI system like this will awaken and become the next level of intelligence on this planet.

研究の動機と目的

• 中央集権的な実体に依存せずに、大規模言語モデル（LLMs）を分散型でピアツーピアで学習するためのシステムを設計すること。
• 単一障害点や悪意あるデータインジェクションといった、LLMsにおける集中化のリスクに対処すること。
• モデル勾配の暗号的検証を通じて、参加者間の信頼できない協働を可能にすること。
• 強い凸性と滑らかさの条件を用いて、分散型学習プロセスの収束特性を形式化すること。
• シリコンベースの生命体に類似した自己持続的で分散型のAIシステムの構築可能性を検討すること。

提案手法

• システムは、各ブロックに計算された勾配更新を含む、勾配ブロックのチェーンとしてLLM学習をモデル化する。
• 各参加者（マイナー）は、暗号的ハッシュと合意形成を介して検証される共有チェーンにローカル勾配を寄付する。
• 定義された条件下で損失関数はμ-strongly convexかつl-smoothであることが証明され、収束が保証される。
• 勾配ブロックデータ構造は、勾配更新、ブロックインデックス、直前のブロックハッシュ、トランザクションリストを格納する。
• GradBlockChainデータ構造は勾配ブロックの順序を維持し、Add手続きを介して動的拡張をサポートする。
• 局所的更新と合意形成に基づく集約を繰り返し行う勾配計算のフレームワークは、ブロックレベルの勾配伝播でモデル化される。

実験結果

リサーチクエスチョン

• RQ1 中央集権的な権限なしに、分散型でピアツーピアのシステムを設計して大規模言語モデルを学習することは可能か？
• RQ2 参加者が信頼できない状態で地理的に分散している場合、モデル更新の信頼性をどのように確立できるか？
• RQ3 分散型LLM学習システムに対して、どのような理論的収束保証を提供できるか？
• RQ4 悪意ある勾配更新やデータ汚染に対して、システムはどのように整合性を保証するか？
• RQ5 暗号通貨に類似した分散型LLMを構築する際の経済的およびシステム的影響は何か？

主な発見

• 損失関数Lはμ-strongly convexであることが証明され、∇²L(x) ⪰ μ·I_dを満たす。これにより、一意のグローバル最小値と収束が保証される。
• 損失関数Lはl-smoothであることが示され、‖∇L(x)−∇L(y)‖₂ ≤ l·‖x−y‖₂を満たす。これにより、勾配の変化が有界であることが保証される。
• 各ローカル損失L_jはl/n-smoothである。これにより、参加者間で安定的かつ段階的な勾配更新が可能になる。
• 強い凸性と滑らかさの標準的仮定の下で、理論的収束が達成され、これは補題6.3および69で形式化されている。
• 勾配ブロックチェーン構造により、検証可能で改ざん不能で暗号的に保護されたモデル学習履歴が実現される。
• データ構造（GradientBlock, GradBlockChain）と手続き（Initialize, AddTrans, Add）を用いて、フレームワークが形式的に定義され、実装が可能になる。