[논문 리뷰] GradientCoin: A Peer-to-Peer Decentralized Large Language Models

Yeqi Gao, Zhao Song외 1명|arXiv (Cornell University)|2023. 08. 21.

Blockchain Technology Applications and Security인용 수 6

한 줄 요약

GradientCoin는 블록체인 아키텍처를 모델로 삼은 비트코인의 영향을 받아, 신뢰할 수 없는 분산된 모델 훈련을 가능하게 하는 피어 투 피어, 탈중앙화된 프레임워크를 제안한다. 이는 기울기 기반의 합의 메커니즘을 통해 이루어지며, 기울기의 암호학적 검증을 통해 모델의 무결성을 보장하고, 강한 볼록성과 미끄러움 조건을 가정할 경우 이론적 수렴 보장을 달성한다.

ABSTRACT

Since 2008, after the proposal of a Bitcoin electronic cash system, Bitcoin has fundamentally changed the economic system over the last decade. Since 2022, large language models (LLMs) such as GPT have outperformed humans in many real-life tasks. However, these large language models have several practical issues. For example, the model is centralized and controlled by a specific unit. One weakness is that if that unit decides to shut down the model, it cannot be used anymore. The second weakness is the lack of guaranteed discrepancy behind this model, as certain dishonest units may design their own models and feed them unhealthy training data. In this work, we propose a purely theoretical design of a decentralized LLM that operates similarly to a Bitcoin cash system. However, implementing such a system might encounter various practical difficulties. Furthermore, this new system is unlikely to perform better than the standard Bitcoin system in economics. Therefore, the motivation for designing such a system is limited. It is likely that only two types of people would be interested in setting up a practical system for it: $\bullet$ Those who prefer to use a decentralized ChatGPT-like software. $\bullet$ Those who believe that the purpose of carbon-based life is to create silicon-based life, such as Optimus Prime in Transformers. The reason the second type of people may be interested is that it is possible that one day an AI system like this will awaken and become the next level of intelligence on this planet.

연구 동기 및 목표

• 중앙 기관에 의존하지 않고 대규모 언어 모델을 훈련하기 위한 탈중앙화된 피어 투 피어 시스템을 설계하는 것.
• 단일 장애 지점과 악성 데이터 주입과 같은 탈중앙화의 위험을 해결하는 것.
• 모델 기울기의 암호학적 검증을 통해 참여자 간의 상호 신뢰 없는 협업을 가능하게 하는 것.
• 강한 볼록성과 미끄러움 조건을 사용하여 탈중앙화된 훈련 과정의 수렴 성질을 체계화하는 것.
• 실리콘 기반 생명체와 유사한 자생적인 탈중앙화된 인공지능 시스템을 구축하는 가능성 탐색

제안 방법

• 시스템은 LLM 훈련을 기울기 블록의 블록체인과 유사한 체인으로 모델링하며, 각 블록은 계산된 기울기 업데이트를 포함한다.
• 각 참가자(마이너)는 공유 체인에 로컬 기울기를 기여하며, 암호학적 해싱과 합의를 통해 검증된다.
• 정의된 조건 하에 손실 함수는 μ-강하게 볼록하고 l-미끄러운 것으로 증명되며, 수렴을 보장한다.
• 기울기 블록 데이터 구조는 기울기 업데이트, 블록 인덱스, 이전 블록 해시, 거래 목록을 저장한다.
• GradBlockChain 데이터 구조는 기울기 블록의 순서를 유지하며, Add 절차를 통해 동적 확장을 지원한다.
• 프레임워크는 국소 업데이트와 합의 기반 집계를 반복적으로 수행하며, 블록 수준의 기울기 전파를 통해 모델링된다.

실험 결과

연구 질문

• RQ1 중앙 기관이 없는 피어 투 피어 시스템을 설계하여 대규모 언어 모델을 훈련시킬 수 있는가?
• RQ2 참여자가 신뢰할 수 없고 지리적으로 분산되어 있을 경우, 모델 업데이트에 대해 어떻게 신뢰를 확립할 수 있는가?
• RQ3 탈중앙화된 LLM 훈련 시스템에 대해 어떤 이론적 수렴 보장을 제공할 수 있는가?
• RQ4 악성 기울기 업데이트 또는 데이터 오염에 대해 시스템은 어떻게 무결성을 보장하는가?
• RQ5 cryptocurrency와 유사한 탈중앙화된 LLM을 구축할 경우의 경제적 및 제도적 영향은 무엇인가?

주요 결과

• 손실 함수 L은 μ-강하게 볼록함이 증명되었으며, ∇²L(x) ⪰ μ·I_d 이므로 유일한 전역 최소값과 수렴을 보장한다.
• 손실 함수 L은 l-미끄러운 것으로 증명되었으며, ‖∇L(x)−∇L(y)‖₂ ≤ l·‖x−y‖₂ 이므로 기울기 변화가 유계임을 보장한다.
• 각 국소 손실 L_j는 l/n-미끄러운 것으로, 참가자 간 안정적이고 점진적인 기울기 업데이트를 지원한다.
• 강한 볼록성과 미끄러움 조건의 표준 가정 하에 이론적 수렴이 달성되었으며, 이는 레마 6.3과 69에 의해 체계화되었다.
• 기울기 블록 체인 구조는 검증 가능하고 변하지 않으며, 암호학적으로 보호된 모델 훈련 이력 제공을 가능하게 한다.
• 프레임워크는 데이터 구조(GradientBlock, GradBlockChain)와 절차(Initialize, AddTrans, Add)를 통해 공식적으로 정의되어 있으며, 구현 가능하다.