[논문 리뷰] opML: Optimistic Machine Learning on Blockchain

K Conway, Tsz Yan So외 2명|arXiv (Cornell University)|2024. 01. 31.

Machine Learning and Data Classification인용 수 4

한 줄 요약

opML는 영구적 기계학습 프레임워크를 도입하여, 제로 지식 증명 대신 사기 증명을 사용함으로써 대규모 AI 모델의 비용 효율적이고 검증 가능한 블록체인 내 추론을 가능하게 한다. 튜링 완전한 사기 증명 가상머신을 활용함으로써 opML은 GPU 없이도 표준 PC에서 7B-LLaMA와 같은 7B 파라미터 모델을 실행할 수 있게 하여 높은 접근성과 확장성을 확보하면서도 블록체인 수준의 신뢰성과 투명성을 유지한다.

ABSTRACT

The integration of machine learning with blockchain technology has witnessed increasing interest, driven by the vision of decentralized, secure, and transparent AI services. In this context, we introduce opML (Optimistic Machine Learning on chain), an innovative approach that empowers blockchain systems to conduct AI model inference. opML lies a interactive fraud proof protocol, reminiscent of the optimistic rollup systems. This mechanism ensures decentralized and verifiable consensus for ML services, enhancing trust and transparency. Unlike zkML (Zero-Knowledge Machine Learning), opML offers cost-efficient and highly efficient ML services, with minimal participation requirements. Remarkably, opML enables the execution of extensive language models, such as 7B-LLaMA, on standard PCs without GPUs, significantly expanding accessibility. By combining the capabilities of blockchain and AI through opML, we embark on a transformative journey toward accessible, secure, and efficient on-chain machine learning.

연구 동기 및 목표

• 대규모 블록체인 기반 기계학습에서 zkML의 높은 계산 비용과 제한된 확장성 문제를 해결하기 위해.
• 블록체인 내에서 탈중앙화되고 검증 가능하며 비용 효율적인 대규모 AI 모델 추론을 가능하게 하기 위해.
• 기존 블록체인 기반 AI 시스템이 중심화된 오프라인 계산에 의존하거나 소규모 모델에 국한되는 한계를 극복하기 위해.
• 블록체인 상에서 모델 훈련, 피지컬 튜닝, 복잡한 데이터 처리를 포함한 튜링 완전한 기계학습 워크로드를 지원하기 위해.
• zkML과 Agatha와 같은 튜링 비완전 시스템에 대한 확장 가능한 오픈소스 대안을 제공하여 블록체인 상에서 더 넓은 범위의 AI 워크로드를 가능하게 하기 위해.

제안 방법

• opML은 모든 기계학습 추론 결과가 기본적으로 유효하다고 가정하는 옵티미스틱 룰업 스타일 아키텍처를 사용한다.
• ML 계산을 오프라인으로 실행하고 결과를 블록체인에 제출하기 위해 사기 증명 가상머신(VM)을 사용한다.
• 도전 기간 동안 검증자가 잘못된 결과를 도전할 수 있으며, 이 경우 첫 번째 잘못된 단계를 특정하기 위해 상호작용식 이분법 프로토콜이 실행된다.
• 분쟁는 단일 계산 단계의 최소한의 검증을 통해 블록체인 상에서 해결되며, 이로 인해 블록체인 내 비용이 낮아진다.
• 튜링 완전한 가상머신 덕분에 깊이 있는 신경망, 결정 트리, KNN, 트랜스포머를 포함한 다양한 기계학습 모델을 지원한다.
• 이 프레임워크는 오픈소스 소프트웨어로 구현되어 GPU 없이도 표준 PC에서 배포가 가능하다.

Figure 1 . OPML Overview

실험 결과

연구 질문

• RQ1 제로 지식 증명에 의존하지 않고도 대규모 기계학습 모델을 비용 효율적이고 효율적으로 블록체인 내에서 실행할 수 있는가?
• RQ2 사기 증명을 어떻게 활용하여 복잡한 AI 워크로드에 대해 검증 가능하고 탈중앙화된 블록체인 내 추론을 달성할 수 있는가?
• RQ3 튜링 완전한 가상머신은 블록체인 상에서 모델 훈련 및 데이터 전처리를 포함한 다양한 기계학습 작업을 얼마나 넓은 범위로 가능하게 하는가?
• RQ4 표준 하드웨어(예: GPU 없이 CPU 전용 PC)에서 옵티미스틱 검증 모델을 사용해 7B-LLaMA와 같은 대규모 언어 모델을 블록체인 내에서 실행할 수 있는가?
• RQ5 실제 AI 워크로드에서 opML의 성능 및 자원 효율성은 zkML과 Agatha와 같은 튜링 비완전 시스템에 비해 어떻게 비교되는가?

주요 결과

• opML은 GPU 없이도 표준 PC에서 7B-파라미터 LLaMA 모델을 실행할 수 있게 하여 접근성과 크게 향상시켰다.
• zkML가 요구하는 제로 지식 증명 생성에 필요한 높은 메모리 및 계산 오버헤드를 피하기 때문에 비용 효율성을 달성했다.
• 튜링 완전한 계산을 지원함으로써 단순 DNN 추론을 넘어서 데이터 전처리 및 모델 피지컬 튜닝과 같은 복잡한 ML 파이프라인을 처리할 수 있다.
• 사기 증명 메커니즘은 단일 계산 단계만 검증하면 되므로 블록체인 내 검증 비용을 최소화함으로써 신뢰성 있는 검증을 보장한다.
• Agatha는 DNN에 국한되어 있고 일반 목적 계산 및 모델 훈련을 지원하지 않기 때문에 opML는 영향력과 범위 면에서 Agatha를 능가한다.
• 프레임워크는 옵티미스틱 검증이 zkML에 대한 확장 가능한 대안으로서 대규모 블록체인 기반 AI에 실현 가능하고 효과적인 방법임을 입증했다. 특히 zk-증명 생성에 적합하지 않은 너무 큰 모델에 대해 유용하다.

Figure 2 . Fraud Proof VM Memory Layout