[論文レビュー] Libraries, Integrations and Hubs for Decentralized AI using IPFS

Richard Blythman, Mohamed Arshath+4 more|arXiv (Cornell University)|Oct 29, 2022

Privacy-Preserving Technologies in Data被引用数 6

ひとこと要約

この論文は、IPFS および Web3 テクノロジーベースの分散型 AI エコシステムを提案し、データサイエンティストがデータセット、モデル、ノートブックなどの AI 資産を相互運用性のあるライブラリ、HuggingFace や ActiveLoop Hub、Ocean Marketplace、Streamlit などのプラットフォームとの統合、およびプロトタイプ分散型 AI ハブ（Metahub）を通じて、保存・共有・収益化できるようにする。主な貢献は、Python でネイティブに分散型ストレージと Web3 ワークフローをサポートするオープンソースツールキットの提供であり、AI 開発における再現性、所有権、経済的インcentive の向上を図る。

ABSTRACT

AI requires heavy amounts of storage and compute. As a result, AI developers are regular users of centralised cloud services such as AWS, GCP and Azure, compute environments such as Jupyter and Colab notebooks, and AI Hubs such as HuggingFace and ActiveLoop. There services are associated with certain benefits and limitations that stem from the underlying infrastructure and governance systems with which they are built. These limitations include high costs, lack of monetization and reward, lack of control and difficulty of reproducibility. At the same time, there are few libraries that allow data scientists to interact with decentralised storage in the language that data scientists are used to, and few hubs where they can discover and interact with AI assets. In this report, we explore the potential of decentralized technologies - such as Web3 wallets, peer-to-peer marketplaces, decentralized storage (IPFS and Filecoin) and compute, and DAOs - to address some of the above limitations. We showcase some of the libraries and integrations that we have built to tackle these issues, as well as a proof of concept of a decentralized AI Hub app, that all use IPFS as a core infrastructural component.

研究の動機と目的

• 中央集権的な AI ハブの限界（高コスト、収益化の欠如、中央集権的管理）を解消するため、分散型インfra を活用すること。
• データサイエンティストが馴染みのある Python ベースのツールとワークフローを用いて、分散型ストレージ（IPFS/Filecoin）とやり取りできるようにすること。
• AI 開発ツール（例：Jupyter、Streamlit、HuggingFace）を分散型ストレージおよびマーケットプレイスと接続する相互運用性のあるライブラリと統合を構築すること。
• Web3 テクノロジを活用して、資産の発見、所有権、収益分配をサポートする完全に分散型の AI ハブ（Metahub）を実証すること。
• 中央集権的プラットフォームから資産を分離することで、再現性と持続可能性を向上させ、ピアツーピア共有を可能にすること。

提案手法

• IPFS および Filecoin API へのハイレベルで自然なアクセスを提供する Python ライブラリである ipfspy を開発し、MFS、DAG、ピン留め、ブロック操作などのサポートを含む。
• ipfspy を ActiveLoop Hub に統合し、IPFS ゲートウェイを介して機械学習データセットを分散型ストレージに保存できるようにし、完全な後方互換性を維持した。
• コア技術助成を活用して、Ocean Marketplace を IPFS および Filecoin ストレージで拡張し、データプロバイダーが分散型スタック上で資産を公開・収益化できるようにした。
• Metahub を、IPFS によるストレージ、Ocean Protocol によるマーケットプレイス、HuggingFace/ActiveLoop Hub との相互運用性を統合した、完全に分散型で許可なしの AI ハブとして構築した。
• 独自の拡張機能（streamlit-metamask）を用いて Streamlit に Web3 機能を実装し、ユーザーが Web3 ウォレットでログインし、アプリから直接 IPFS に資産を保存できるようにした。
• Jupyter Lab 拡張機能を構築し、Web3 ログイン、IPFS へのアップロード、Ocean Protocol への公開をノートブックインターフェース内で直接行えるようにした。

実験結果

リサーチクエスチョン

• RQ1 分散型ストレージ（IPFS/Filecoin）をどのようにデータサイエンスワークフローにネイティブに統合することで、再現性を向上させ、中央集権的クラウドプロバイダーへの依存を減らせるか？
• RQ2 Jupyter や Streamlit、HuggingFace などの既存の AI 開発ツールに対して Web3 相互運用性を実現する際の技術的およびアーキテクチャ的課題は何か？
• RQ3 分散型 AI ハブ（Metahub）は、資産の発見、所有権、収益化を効果的に統合しながら、既存の AI エコシステムと完全に相互運用可能であるか？
• RQ4 使いやすさやパフォーマンスを損なわず、データサイエンティストが分散型マーケットプレイスを通じて AI 資産を貢献・共有するインcentive をどのように与えることができるか？
• RQ5 既存の AI ライブラリーやフレームワークは、P2P データ共有とコンピューティングをサポートするための分散型ストレージ抽象化によって、どの程度拡張可能か？

主な発見

• ipfspy ライブラリにより、Python で IPFS および Filecoin へのシームレスでハイレベルな操作が可能になり、低レベルな API の複雑さが抽象化され、ピン留めやブロックアクセスなどの主要操作がサポートされる。
• ipfspy を ActiveLoop Hub に統合することで、データサイエンティストがローカルダウンロードなしに分散型ストレージから ML データセットをストリーミング可能になり、トレーニング効率が向上する。
• Ocean Marketplace は now natively IPFS/Filecoin ストレージをサポートし、データプロバイダーが分散型スタック上で資産を公開・収益化できるようになり、データの永続性とアクセス制御が向上した。
• Metahub は、資産の発見、Web3 ウォレット統合、収益分配をサポートする完全に分散型の AI ハブとして成功裏に実証された。HuggingFace および ActiveLoop Hub との完全な相互運用性を備えている。
• Streamlit 統合により、AI アプリ開発におけるエンドツーエンドの Web3 ワークフローが可能になり、ユーザーがウォレットで認証し、アプリから直接 IPFS に資産を保存できるようになった。
• Jupyter Lab 拡張機能により、データサイエンティストが Web3 ウォレットでログインし、IPFS にアップロードし、マーケットプレイスに公開する完全に統合されたフロントエンドベースのワークフローをノートブック環境内で実現できるようになった。