[논문 리뷰] Libraries, Integrations and Hubs for Decentralized AI using IPFS

Richard Blythman, Mohamed Arshath외 4명|arXiv (Cornell University)|2022. 10. 29.

Privacy-Preserving Technologies in Data인용 수 6

한 줄 요약

이 논문은 IPFS와 Web3 기술 기반의 탈중앙화된 AI 생태계를 제안하며, 데이터 과학자들이 데이터셋, 모델, 노트북과 같은 AI 자산을 상호 운용 가능한 라이브러리, HuggingFace, ActiveLoop Hub, Ocean Marketplace, Streamlit 등의 플랫폼과의 통합, 그리고 메타허브라는 탈중앙화된 AI 허브의 개념 증명을 통해 저장, 공유, 수익화할 수 있도록 한다. 주요 기여는 파이썬에서 탈중앙화된 스토리지와 Web3 워크플로우를 네이티브로 지원하는 오픈소스 도구 세트를 제공함으로써 AI 개발의 재현 가능성, 소유권, 경제적 인cent라이브를 향상시키는 데 있다.

ABSTRACT

AI requires heavy amounts of storage and compute. As a result, AI developers are regular users of centralised cloud services such as AWS, GCP and Azure, compute environments such as Jupyter and Colab notebooks, and AI Hubs such as HuggingFace and ActiveLoop. There services are associated with certain benefits and limitations that stem from the underlying infrastructure and governance systems with which they are built. These limitations include high costs, lack of monetization and reward, lack of control and difficulty of reproducibility. At the same time, there are few libraries that allow data scientists to interact with decentralised storage in the language that data scientists are used to, and few hubs where they can discover and interact with AI assets. In this report, we explore the potential of decentralized technologies - such as Web3 wallets, peer-to-peer marketplaces, decentralized storage (IPFS and Filecoin) and compute, and DAOs - to address some of the above limitations. We showcase some of the libraries and integrations that we have built to tackle these issues, as well as a proof of concept of a decentralized AI Hub app, that all use IPFS as a core infrastructural component.

연구 동기 및 목표

• 중앙집중화된 AI 허브의 한계(높은 비용, 수익화 불가, 중앙 집중적 제어 등)를 탈중앙화된 인프라를 활용해 해결하고자 한다.
• 데이터 과학자들이 익숙한 파이썬 기반 도구와 워크플로우를 사용해 IPFS/Filecoin과 같은 탈중앙화된 스토리지와 상호 작용할 수 있도록 하기 위해.
• AI 개발 도구(예: Jupyter, Streamlit, HuggingFace 등)를 탈중앙화된 스토리지와 마켓플레이스와 연결하는 상호 운용 가능한 라이브러리와 통합을 구축하기 위해.
• 자산 탐색, 소유권, 수익 공유를 Web3 기술을 통해 지원하는 완전히 탈중앙화된 AI 허브(Metahub)를 구현하고자 하며.
• 중앙 집중형 플랫폼에서 자산을 분리함으로써 AI의 재현 가능성과 지속 가능성을 향상시키고자 하다.

제안 방법

• MFS, DAG, 핀닝, 블록 작업 등을 지원하는 IPFS 및 Filecoin API에 고수준이고 자연스러운 접근 방식을 제공하는 파이썬 라이브러리인 ipfspy를 개발하였다.
• ipfspy를 ActiveLoop Hub에 통합하여, IPFS 게이트웨이를 사용해 기계학습 데이터셋을 탈중앙화된 스토리지에 저장할 수 있도록 하였으며, 이로 인해 완전한 역호환성 유지가 가능해졌다.
• 핵심 기술 기부를 통해 Ocean Marketplace에 IPFS 및 Filecoin 스토리지 기능을 통합하여, 데이터 제공자가 탈중앙화된 스택에서 자산을 게시하고 수익화할 수 있도록 하였다.
• IPFS를 스토리지로, Ocean 프로토콜을 마켓플레이스로, HuggingFace/ActiveLoop Hub와의 상호 운용성을 확보하여, 메타허브를 탈중앙화되고 허가가 필요 없는 AI 허브로 구축하였다.
• Streamlit에 커스텀 확장 기능(streamlit-metamask)을 도입하여 사용자가 Web3 지갑으로 로그인하고 앱에서 직접 IPFS에 자산을 저장할 수 있도록 하였다.
• 노트북 인터페이스 내에서 Web3 로그인, IPFS 업로드, Ocean 프로토콜 게시 기능을 제공하는 Jupyter Lab 확장 기능을 개발하였다.

실험 결과

연구 질문

• RQ1 탈중앙화된 스토리지(IPFS/Filecoin)가 데이터 과학 워크플로우에 네이티브로 통합될 수 있는 방법은 무엇이며, 이를 통해 중앙 집중형 클라우드 제공자에 대한 의존도를 줄이고 재현성을 향상시킬 수 있는가?
• RQ2 기존 AI 개발 도구(예: Jupyter, Streamlit, HuggingFace 등)에 대해 Web3 상호 운용성을 제공하는 데 있어 기술적 및 아키텍처적 과제는 무엇인가?
• RQ3 탈중앙화된 AI 허브(Metahub)가 자산 탐색, 소유권, 수익 공유를 효과적으로 통합하면서도 기존 AI 생태계와 완전히 상호 운용 가능하게 유지할 수 있는가?
• RQ4 사용성이나 성능을 희생시키지 않고 데이터 과학자들이 탈중앙화된 마켓플레이스를 통해 AI 자산을 기여하고 공유하도록 유도할 수 있는 방법은 무엇인가?
• RQ5 기존 AI 라이브러리와 프레임워크가 탈중앙화된 스토리지 추상화로 확장될 수 있는 정도는 어느 정도이며, 이를 통해 페어 투 페어 데이터 공유 및 컴퓨팅를 지원할 수 있는가?

주요 결과

• ipfspy 라이브러리는 파이썬에서 IPFS 및 Filecoin에 대한 원활하고 고수준의 상호 작용을 가능하게 하여, 저수준 API의 복잡성을 추상화하고 핀닝, 블록 접근과 같은 핵심 작업을 지원한다.
• ipfspy가 ActiveLoop Hub에 통합되어 데이터 과학자들이 로컬 다운로드 없이 탈중앙화된 스토리지에서 기계학습 데이터셋을 스트리밍할 수 있게 되어, 학습 효율성이 향상되었다.
• Ocean Marketplace는 이제 네이티브로 IPFS/Filecoin 스토리지를 지원하여, 데이터 제공자가 탈중앙화된 스택에서 자산을 게시하고 수익화할 수 있도록 하였으며, 데이터 지속성과 액세스 제어가 향상되었다.
• Metahub는 자산 탐색, Web3 지갑 통합, 수익 공유를 지원하는 탈중앙화된 AI 허브로서 성공적으로 기능을 입증하였으며, HuggingFace 및 ActiveLoop Hub와의 완전한 상호 운용성을 확보하였다.
• Streamlit 통합은 AI 앱 개발에서 엔드 투 엔드 Web3 워크플로우를 가능하게 하여, 사용자가 지갑으로 인증하고 앱에서 직접 IPFS에 자산을 저장할 수 있도록 하였다.
• Jupyter Lab 확장 기능은 데이터 과학자들이 웹 기반 워크플로우를 완전히 통합하여 Web3 지갑 로그인, IPFS 업로드, 마켓플레이스 게시를 모두 노트북 환경 내에서 수행할 수 있도록 하였다.