[論文レビュー] opML: Optimistic Machine Learning on Blockchain

K Conway, Tsz Yan So+2 more|arXiv (Cornell University)|Jan 31, 2024

Machine Learning and Data Classification被引用数 4

ひとこと要約

opML は、ゼロ知識証明ではなく不正証明を用いることで、コスト効率が良く、検証可能なブロックチェーン上での大規模なAIモデルの推論を可能にする、楽観的機械学習フレームワークを導入する。チューリング完全な不正証明仮想マシンを活用することで、GPUが不要な標準PCでも 7B パラメータのモデル（例：7B-LLaMA）を実行可能となり、ブロックチェーンレベルの信頼性と透明性を維持しながら、高いアクセシビリティとスケーラビリティを実現する。

ABSTRACT

The integration of machine learning with blockchain technology has witnessed increasing interest, driven by the vision of decentralized, secure, and transparent AI services. In this context, we introduce opML (Optimistic Machine Learning on chain), an innovative approach that empowers blockchain systems to conduct AI model inference. opML lies a interactive fraud proof protocol, reminiscent of the optimistic rollup systems. This mechanism ensures decentralized and verifiable consensus for ML services, enhancing trust and transparency. Unlike zkML (Zero-Knowledge Machine Learning), opML offers cost-efficient and highly efficient ML services, with minimal participation requirements. Remarkably, opML enables the execution of extensive language models, such as 7B-LLaMA, on standard PCs without GPUs, significantly expanding accessibility. By combining the capabilities of blockchain and AI through opML, we embark on a transformative journey toward accessible, secure, and efficient on-chain machine learning.

研究の動機と目的

• 大規模なブロックチェーン上での機械学習における zkML の高い計算コストと限界のあるスケーラビリティを解決すること。
• ブロックチェーン上で直接、分散型で検証可能かつコスト効率の良い大規模AIモデルの推論を可能にすること。
• 中央集権的なオフチェーン計算に依存するか、小規模モデルに限定される既存のブロックチェーン上AIシステムの制限を克服すること。
• モデル学習、ファインチューニング、複雑なデータ処理を含む、チューリング完全な機械学習ワークロードをブロックチェーン上で実行できること。
• zkML や Agatha のようなチューリング非完全なシステムとは異なり、スケーラブルでオープンソースな代替手段を提供し、より広範なAIワークロードをブロックチェーン上で実現すること。

提案手法

• opML は、すべてのML推論結果がデフォルトで有効であると仮定する、楽観的リポート型アーキテクチャを採用する。
• ML計算をオフチェーンで実行し、結果をオンチェーンに送信するために、不正証明仮想マシン（VM）を用いる。
• 挑戦期間中に検証者が誤った結果を疑わしがると、最初の誤ったステップを特定するためのインタラクティブバイセクションプロトコルが起動される。
• 紛争は、単一の計算ステップの最小限の検証によってオンチェーンで解決され、オンチェーンコストを低く保つ。
• チューリング完全なVMのおかげで、深層ニューラルネットワーク、決定木、KNN、トランスフォーマーを含む幅広いMLモデルをサポートする。
• フレームワークはオープンソースのソフトウェアとして実装されており、GPUが不要な標準PCへのデプロイが可能である。

Figure 1 . OPML Overview

実験結果

リサーチクエスチョン

• RQ1 ゼロ知識証明に依存せずに、大規模な機械学習モデルを効率的かつコスト効率よくブロックチェーン上で実行できるか？
• RQ2 不正証明をどのように活用することで、複雑なAIワークロードの検証可能で分散型のオンチェーン推論を実現できるか？
• RQ3 チューリング完全な仮想マシンは、モデル学習やデータ前処理を含む多様な機械学習タスクをブロックチェーン上で実行可能にまで拡張できるか？
• RQ4 CPUオンリーパソコンなどの標準ハードウェアが、楽観的検証モデルを用いて 7B-LLaMA のような大規模言語モデルをオンチェーンで実行できるか？
• RQ5 実世界のAIワークロードにおいて、opML は zkML や Agatha のようなチューリング非完全なシステムと比較して、パフォーマンスとリソース効率に優れているか？

主な発見

• opML は、GPUが不要な標準PCでも 7B パラメータの LLaMA モデルを実行可能となり、アクセシビリティが著しく向上した。
• zkML が要求する高コストなメモリと計算オーバーヘッドを回避することで、コスト効率の高い実装を実現した。
• チューリング完全な計算をサポートするため、単なるDNN推論を超えて、データ前処理やモデルファインチューニングを含む複雑なMLパイプラインを処理可能である。
• 不正証明メカニズムにより、紛争解決時に単一ステップの実行のみでオンチェーン検証が可能となり、最小限のコストで実現される。
• Agatha よりも柔軟性と範囲が広く、Agatha はDNNに限定されており、一般用途の計算やモデル学習のサポートがない。
• フレームワークは、zkML に対する代替手段として、特にzk証明生成に適さない大規模モデル向けに、楽観的検証が実用的でスケーラブルであることを示している。

Figure 2 . Fraud Proof VM Memory Layout