[论文解读] Libraries, Integrations and Hubs for Decentralized AI using IPFS

Richard Blythman, Mohamed Arshath+4 more|arXiv (Cornell University)|Oct 29, 2022

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出一个基于IPFS和Web3技术的去中心化AI生态系统，使数据科学家能够通过互操作性库、与HuggingFace、ActiveLoop Hub、Ocean Marketplace和Streamlit等平台的集成，以及一个去中心化AI枢纽（Metahub）的原型，安全透明地存储、共享和变现AI资产（如数据集、模型和笔记本）。其核心贡献是一套原生支持去中心化存储和Web3工作流的开源工具，增强了AI开发中的可复现性、所有权和经济激励。

ABSTRACT

AI requires heavy amounts of storage and compute. As a result, AI developers are regular users of centralised cloud services such as AWS, GCP and Azure, compute environments such as Jupyter and Colab notebooks, and AI Hubs such as HuggingFace and ActiveLoop. There services are associated with certain benefits and limitations that stem from the underlying infrastructure and governance systems with which they are built. These limitations include high costs, lack of monetization and reward, lack of control and difficulty of reproducibility. At the same time, there are few libraries that allow data scientists to interact with decentralised storage in the language that data scientists are used to, and few hubs where they can discover and interact with AI assets. In this report, we explore the potential of decentralized technologies - such as Web3 wallets, peer-to-peer marketplaces, decentralized storage (IPFS and Filecoin) and compute, and DAOs - to address some of the above limitations. We showcase some of the libraries and integrations that we have built to tackle these issues, as well as a proof of concept of a decentralized AI Hub app, that all use IPFS as a core infrastructural component.

研究动机与目标

• 通过利用去中心化基础设施，解决集中式AI枢纽的局限性（如高成本、缺乏变现机制和集中控制）。
• 使数据科学家能够使用熟悉的基于Python的工具和工作流与去中心化存储（IPFS/Filecoin）进行交互。
• 构建可互操作的库和集成，将AI开发工具（如Jupyter、Streamlit、HuggingFace）与去中心化存储和市场连接起来。
• 展示一个完全去中心化的AI枢纽（Metahub），通过Web3技术支持资产发现、所有权和收入分成。
• 通过将资产与集中式平台解耦并实现点对点共享，提升AI的可复现性和可持续性。

提出的方法

• 开发了ipfspy，一个Python库，提供对IPFS和Filecoin API的高级、符合惯用法的访问，包括对MFS、DAG、固定（pinning）和区块操作的支持。
• 将ipfspy集成到ActiveLoop Hub中，通过IPFS网关实现机器学习数据集的去中心化存储，同时保持完全的向后兼容性。
• 通过核心技术资助扩展Ocean Marketplace，支持IPFS和Filecoin存储，使数据提供方可将资产发布并变现于去中心化堆栈。
• 构建Metahub作为去中心化、无需许可的AI枢纽，结合IPFS用于存储、Ocean Protocol用于市场，以及与HuggingFace/ActiveLoop Hub的互操作性。
• 通过自定义扩展（streamlit-metamask）在Streamlit中启用Web3功能，使用户能够通过Web3钱包登录，并直接从应用程序将资产存储在IPFS上。
• 创建了Jupyter Lab扩展，使数据科学家能够直接在笔记本界面中通过Web3钱包登录、上传至IPFS并发布至市场。

实验结果

研究问题

• RQ1 如何将去中心化存储（IPFS/Filecoin）原生集成到数据科学工作流中，以提升可复现性并减少对集中式云服务的依赖？
• RQ2 在现有AI开发工具（如Jupyter、Streamlit和HuggingFace）中实现Web3互操作性的技术和架构挑战是什么？
• RQ3 一个去中心化AI枢纽（Metahub）能否有效结合资产可发现性、所有权和变现能力，同时保持与现有AI生态系统的完全互操作性？
• RQ4 如何激励数据科学家通过去中心化市场贡献和共享AI资产，同时不牺牲可用性或性能？
• RQ5 现有AI库和框架在多大程度上可以扩展去中心化存储抽象，以支持点对点数据共享和计算？

主要发现

• ipfspy库使Python中与IPFS和Filecoin的无缝、高级交互成为可能，抽象了底层API的复杂性，并支持固定和区块访问等关键操作。
• 将ipfspy集成到ActiveLoop Hub中，使数据科学家能够从去中心化存储流式传输机器学习数据集，而无需本地下载，从而提高了训练效率。
• Ocean Marketplace现已支持原生IPFS/Filecoin存储，使数据提供方可将资产发布并变现于去中心化堆栈，提升了数据持久性和访问控制。
• Metahub成功演示了一个支持资产发现、Web3钱包集成和收入分成的去中心化AI枢纽，且与HuggingFace和ActiveLoop Hub完全互操作。
• Streamlit集成实现了AI应用开发中的端到端Web3工作流，使用户能够通过钱包认证，并直接从交互式应用将资产存储在IPFS上。
• Jupyter Lab扩展为数据科学家提供了完全集成的、基于前端的工作流，使其能够在笔记本环境中通过Web3钱包登录、上传至IPFS并发布至市场。