[논문 리뷰] OmniLytics: A Blockchain-based Secure Data Market for Decentralized Machine Learning

Jiacheng Liang, Songze Li외 3명|arXiv (Cornell University)|2021. 07. 12.

Blockchain Technology Applications and Security인용 수 11

한 줄 요약

OmniLytics는 이더리움 스마트 컨tracts를 활용한 블록체인 기반의 안전한 데이터 마켓을 제안하며, 중앙 집중화된 기계학습을 위한 분산 학습을 가능하게 한다. 데이터 소유자는 자신의 기밀 데이터를 기여함으로써 모델을 훈련시키지만, 데이터를 폭로하지 않으며, 모델 및 데이터의 기밀성, 바르진스티(비잔틴) 저항성, 원자적 지불을 보장한다. 이 시스템은 MNIST에 대한 CNN에서 블록체인 처리 시간이 500ms 이내로 모델 정확도를 62%에서 83%로 향상시킨다.

ABSTRACT

We propose OmniLytics, a blockchain-based secure data trading marketplace for machine learning applications. Utilizing OmniLytics, many distributed data owners can contribute their private data to collectively train an ML model requested by some model owners, and receive compensation for data contribution. OmniLytics enables such model training while simultaneously providing 1) model security against curious data owners; 2) data security against the curious model and data owners; 3) resilience to malicious data owners who provide faulty results to poison model training; and 4) resilience to malicious model owners who intend to evade payment. OmniLytics is implemented as a blockchain smart contract to guarantee the atomicity of payment. In OmniLytics, a model owner splits its model into the private and public parts and publishes the public part on the contract. Through the execution of the contract, the participating data owners securely aggregate their locally trained models to update the model owner's public model and receive reimbursement through the contract. We implement a working prototype of OmniLytics on Ethereum blockchain and perform extensive experiments to measure its gas cost, execution time, and model quality under various parameter combinations. For training a CNN on the MNIST dataset, the MO is able to boost its model accuracy from 62% to 83% within 500ms in blockchain processing time.This demonstrates the effectiveness of OmniLytics for practical deployment.

연구 동기 및 목표

• 기계학습에서 중앙 집중식 데이터 마켓의 보안 및 기밀성 한계를 해결하기 위해.
• 모델 소유자가 중개자 없이 분산된 데이터 마켓을 운영할 수 있도록 하여 데이터 소유자가 기밀 데이터를 폭로하지 않고 기여할 수 있도록 하기 위해.
• 블록체인에 저장된 비공개 및 공개 컴포넌트로 모델을 분할함으로써 모델 기밀성을 보장하기 위해.
• 불량한 데이터 소유자가 오류가 있는 업데이트를 제출하거나, 악의적인 모델 소유자가 지불을 피하는 것에 대비한 저항성을 확보하기 위해.
• 기계학습에서 종단 간 신뢰 없이 데이터 거래를 구현할 수 있는 안전하고 효율적이며 실용적인 스마트 컨트랙트를 구현하기 위해.

제안 방법

• 모델 소유자는 모델을 기밀 부분(비공개)과 공개 부분(블록체인에 게시)으로 나누어 모델 기밀성을 유지한다.
• 데이터 소유자는 자신의 기밀 데이터에서 공개 모델을 국지적으로 훈련하고, 데이터 泄露를 방지하기 위해 보안 집계를 사용하여 마스킹된 업데이트를 업로드한다.
• 스마트 컨트랙트는 SecModelUpdate 기능을 실행하여 기여를 집계하고, 다중-Krum 알고리즘을 적용해 악성 업데이트를 걸러낸다.
• 지불은 스마트 컨트랙트를 통해 원자적으로 이행되어, 성공적인 모델 업데이트 후에만 정직한 데이터 소유자에게 보상이 지급된다.
• 쌍별 마스킹 및 암호 기법을 사용하여 분산 훈련 중 데이터 및 모델 기밀성을 보장한다.
• 프로토타입은 이더리움에 구현되었으며, 다양한 설정에서 가스 비용, 실행 시간, 모델 정확도를 측정하였다.

실험 결과

연구 질문

• RQ1 중앙 기관이 없는 블록체인 기반의 데이터 마켓을 설계하여 기계학습 모델의 안전하고 분산된 훈련을 가능하게 할 수 있는가?
• RQ2 모델 가중치가 일부 블록체인에 폭로될 경우, 어떻게 모델 기밀성을 유지할 수 있는가?
• RQ3 데이터 소유자가 국지적으로 훈련한 모델을 공유 모델에 기여할 때, 어떤 메커니즘이 데이터 기밀성을 보장할 수 있는가?
• RQ4 불량한 데이터 소유자가 오류가 있는 업데이트를 제출하는 비잔틴 공격에 대해 시스템의 효과적인 저항 능력은 어떠한가?
• RQ5 악의적인 모델 소유자가 지불을 피하는 것을 방지하면서도, 정직한 데이터 기여자에게 원자적이고 공정한 지불을 보장할 수 있는가?

주요 결과

• OmniLytics 시스템은 블록체인 처리 시간이 500ms 이내로 MNIST 데이터셋에서 CNN을 사용해 모델 정확도를 62%에서 83%로 향상시켰다.
• 데이터 소유자 수(DOs)를 늘릴수록 특정 정확도에 도달하기 위한 컨트랙트 호출 횟수가 감소하지만, 호출당 실행 시간은 증가한다.
• 모델의 공개 레이어 수를 늘일수록 정확도가 향상되며(총 파rameter의 최대 15.96%), 공개 모델 공유의 효과성을 입증한다.
• 모델 소유자(MO)의 사전 훈련 에포크 수를 40으로 설정할 경우, 모든 테스트 설정에서 가장 높은 최종 모델 정확도를 달성한다.
• 시스템은 비잔틴 데이터 소유자에 대해 높은 저항성을 유지한다: μ=0.5일 때 2% 공격률에서 83.12%의 정확도를 달성하며, 16% 공격률에서는 뿐만 아니라 56.86%로 떨어지지만, 여전히 높은 수준의 안정성을 확보한다.
• 다중-Krum 이상치 탐지 메커니즘은 악성 업데이트를 효과적으로 억제하며, 더 높은 μ 값은 더 강력한 방어를 제공하지만, 가스 비용과 실행 시간이 증가한다.