[논문 리뷰] DataBright: Towards a Global Exchange for Decentralized Data Ownership and Trusted Computation

David Dao, Dan Alistarh외 2명|arXiv (Cornell University)|2018. 02. 13.

Blockchain Technology Applications and Security참고 문헌 3인용 수 11

한 줄 요약

DataBright는 데이터 및 신뢰할 수 있는 계산을 위한 탈중앙화된 글로벌 거래소를 제안하며, 데이터 기여자가 자신의 데이터나 하드웨어가 머신러닝 훈련에 사용될 경우 배당을 수령할 수 있는 주주가 되도록 한다. 이 시스템은 이더리움 기반 스마트 계약과 인텔 SGX를 활용한 신뢰할 수 있는 실행 환경, 그리고 하이브리드 검증(삼중 모듈러 중복, 모델 분할)을 결합하여 성능 저하가 최소화된 검증 가능하고 개인정보 보호가 보장된 계산을 실현한다. 이는 이중 모델 분할을 통해 두 개의 GPU에서 VGG-16 훈련을 225분 만에 구현한 바 있다.

ABSTRACT

It is safe to assume that, for the foreseeable future, machine learning, especially deep learning will remain both data- and computation-hungry. In this paper, we ask: Can we build a global exchange where everyone can contribute computation and data to train the next generation of machine learning applications? We present an early, but running prototype of DataBright, a system that turns the creation of training examples and the sharing of computation into an investment mechanism. Unlike most crowdsourcing platforms, where the contributor gets paid when they submit their data, DataBright pays dividends whenever a contributor's data or hardware is used by someone to train a machine learning model. The contributor becomes a shareholder in the dataset they created. To enable the measurement of usage, a computation platform that contributors can trust is also necessary. DataBright thus merges both a data market and a trusted computation market. We illustrate that trusted computation can enable the creation of an AI market, where each data point has an exact value that should be paid to its creator. DataBright allows data creators to retain ownership of their contribution and attaches to it a measurable value. The value of the data is given by its utility in subsequent distributed computation done on the DataBright computation market. The computation market allocates tasks and subsequent payments to pooled hardware. This leads to the creation of a decentralized AI cloud. Our experiments show that trusted hardware such as Intel SGX can be added to the usual ML pipeline with no additional costs. We use this setting to orchestrate distributed computation that enables the creation of a computation market. DataBright is available for download at https://github.com/ds3lab/databright.

연구 동기 및 목표

• 기존의 커뮤니티 기반 및 클라우드 컴퓨팅 환경에서 머신러닝을 위한 인cent라이브 부족과 소유권 문제를 해결하기 위해.
• 데이터 기여자가 소유권을 유지하고 자신의 데이터 또는 하드웨어가 사용될 경우 배당을 수령할 수 있는 탈중앙화된 시장 구축을 위해.
• 신뢰할 수 없는 하드웨어에서도 검증 가능하고 신뢰할 수 있는 계산을 가능하게 하기 위해 하이브리드 검증 기법을 활용하기 위해.
• 신뢰할 수 있는 계산의 성능 저하를 최소화하면서도 데이터 프라이버시와 무결성을 유지하기 위해.
• 신뢰할 수 있는 하드웨어가 표준 머신러닝 파이프라인에 최소한의 런타임 비용으로 통합될 수 있음을 입증하기 위해.

제안 방법

• 이더리움 스마트 계약을 통해 탈중앙화된 데이터 마켓을 구현하여 기여자가 데이터 제안을 제출하고 발행된 토큰을 통해 주주가 될 수 있도록 한다.
• 데이터 셀렉터가 계산 토큰을 사용하여 제안을 투표하고, 수락된 데이터는 블록체인에 불가역적인 레지스트리에 저장된다.
• 신뢰할 수 있는 계산 마켓은 인텔 SGX를 지원하는 장치를 활용하여, 삼중 모듈러 중복(TMR)을 통해 신뢰할 수 없는 GPU에서의 계산을 스케줄링하고 검증한다.
• 모델 분할은 신경망을 신뢰할 수 없는 워커들 사이에 나누어 전체 모델 노출을 방지하며, 레이어 단위로 활성화 및 기울기 정보를 교환한다.
• 주기적인 재할당을 통해 각 신뢰할 수 없는 워커가 최대 5%의 훈련 세트에만 노출되도록 제한하여 데이터 泄露를 방지한다.
• 성능 저하 측정은 VGG-16을 ImageNet에서 1~2개의 GPU를 사용하여 표준, 분할, TMR 설정을 비교함으로써 수행된다.

실험 결과

연구 질문

• RQ1 장기적인 소유권과 배당 기반 보상으로 인해 데이터 기여자가 고품질 데이터를 제공하도록 유도할 수 있는가?
• RQ2 신뢰할 수 있는 하드웨어와 신뢰할 수 없는 하드웨어의 하이브리드 모델이 수용 가능한 성능 저하로 검증 가능한 머신러닝 훈련을 가능하게 할 수 있는가?
• RQ3 신뢰할 수 없는 계산 자원을 사용할 경우 데이터 프라이버시를 보장하고 泄露를 방지하기 위한 메커니즘은 무엇인가?
• RQ4 분산형 탈중앙화 환경에서 모델 분할이 훈련 성능과 통신 비용에 어떤 영향을 미치는가?
• RQ5 인텔 SGX와 같은 신뢰할 수 있는 하드웨어가 표준 딥러닝 파이프라인에 중대한 성능 저하 없이 얼마나 잘 통합될 수 있는가?

주요 결과

• 스마트 계약을 통한 스케줄링 및 전송에 인텔 SGX를 사용할 경우, 이중 분할 설정에서 실행당 약 93ms의 성능 저하만 발생시켰다.
• 이중 모델 분할을 통해 두 개의 GPU에서 VGG-16을 훈련하는 데 225분이 소요되었으며, 표준 단일 GPU 훈련의 193분과 비교할 때 다소 늦어졌다.
• 삼중 모듈러 중복(TMR)은 신뢰할 수 없는 워커에서의 검증 가능한 계산에 약 3배의 성능 저하를 유발하였다.
• TMR와 함께 모델 분할을 적용한 경우 총 성능 저하가 약 6배로 증가했지만, 저자들은 최적화를 통해 이를 줄일 수 있을 것으로 보고 있다.
• 통신 비용은 특히 분할되지 않은 설정에서 느린 1Gbps 네트워크 링크로 인해 다중 노드 환경에서 뚜렷하게 증가하였다.
• 시스템은 신뢰할 수 있는 하드웨어가 표준 머신러닝 파이프라인에 최소한의 성능 비용으로 통합될 수 있음을 입증하였으며, 이는 탈중앙화된 AI 클라우드를 가능하게 하였다.