[논문 리뷰] Biscotti: A Ledger for Private and Secure Peer-to-Peer Machine Learning

Muhammad Shayan, Clement Fung외 2명|arXiv (Cornell University)|2018. 11. 24.

Privacy-Preserving Technologies in Data인용 수 59

한 줄 요약

Biscotti는 중앙 코디네이터 없이 프라이버시를 보장하고 비잔티움 내성 다자 SGD를 가능하게 하는 블록체인, 검증 가능한 난수 함수, 차등 프라이버시, 및 보안 집계를 사용하는 분산형 P2P 시스템이다. 이는 오염 및 정보 누출에 대항하면서 모델 유용성을 보존한다.

ABSTRACT

Federated Learning is the current state of the art in supporting secure multi-party machine learning (ML): data is maintained on the owner's device and the updates to the model are aggregated through a secure protocol. However, this process assumes a trusted centralized infrastructure for coordination, and clients must trust that the central service does not use the byproducts of client data. In addition to this, a group of malicious clients could also harm the performance of the model by carrying out a poisoning attack. As a response, we propose Biscotti: a fully decentralized peer to peer (P2P) approach to multi-party ML, which uses blockchain and cryptographic primitives to coordinate a privacy-preserving ML process between peering clients. Our evaluation demonstrates that Biscotti is scalable, fault tolerant, and defends against known attacks. For example, Biscotti is able to protect the privacy of an individual client's update and the performance of the global model at scale when 30% of adversaries are trying to poison the model. The implementation can be found at: https://github.com/DistributedML/Biscotti

연구 동기 및 목표

• 신뢰할 중앙 권한 없이 프라이버시 있는 다자 ML을 동기화하고자 한다.
• SGD를 블록체인 원장으로 조정하는 완전히 분산된 P2P 시스템을 제안한다.
• 프라이버시를 보존하는 기술로 개별 업데이트를 보호하고 오염 공격을 탐지/완화한다.
• 지분 기반 역할 선정을 통해 Sybil 및 적대적 행위에 대해 강건성을 확보한다.

제안 방법

• 블록체인 원장을 사용해 블록당 전역 모델 스냅샷으로 SGD 반복을 조정한다.
• VRF-선정 노이징 피어에서 도출된 프리 커밋된 차등 프라이버시 노이즈로 SGD 업데이트를 마스킹한다.
• 다중 KRUM을 적용한 검증 위원회로 업데이트를 검증해 오염된 업데이트를 필터링한다.
• 서미르 비밀 공유와 다항식 커밋을 사용해 개인정보를 보호하면서 검증 가능한 집계를 가능하게 하며 업데이트를 비공개로 집계한다.
• 지분 가중 일관 해싱과 VRF를 사용해 매 반복마다 노이저, 검증자, 집계자를 선택한다.
• 모델 상태, 키, 프리 커밋된 노이즈를 포함하는 제네시스 블록으로 부트스트랩하고, 포고를 통해 피어를 동기화하며, 암호학적 커밋으로 원장을 무결성을 보장한다.

실험 결과

연구 질문

• RQ1 중앙 집중 어그리거 없이 프라이버시를 보장하는 다자 ML을 분산 P2P 시스템이 조정할 수 있는가?
• RQ2 분산 SGD 설정에서 오염 및 정보 누출 공격을 어떻게 완화할 수 있는가?
• RQ3 Biscotti의 다양한 집계 전략의 프라이버시-유용성 트레이드오프는 무엇인가?
• RQ4 지분 기반 역할 할당이 Sybil 공격에 충분히 저항하고 장애 내성을 보장하는가?
• RQ5 Biscotti가 프라이버시를 보호하면서 연합 학습과 비교 가능한 모델 정확도를 유지하는가?

주요 결과

• Biscotti는 60,000장의 이미지로 200명의 피어에서 MNIST 소프트맥스 모델을 266.7분에 학습시킨다.
• 시스템은 100개의 노드에 걸친 매 15초마다의 노드 churn에도 견고하고, churn 하에서도 수렴한다.
• Multi-KRUM 기반 검증은 최대 30% 악의적 클라이언트의 오염에 대해 방어할 수 있다.
• 차등 프라이버시 노이즈는 사전 커밋되며 검증 중에 마스킹되어 정보 누출 공격을 방지한다; 프라이버시는 보안 집계를 통해 보존된다.
• 노이즈 없이 업데이트를 집계할 때 연합 학습과 동일한 유틸리티를 달성할 수 있으며(노이즈화는 유용성을 높이려면 선택적임), 프라이버시를 보장한다.
• 구현은 Azure에서 여러 위치에 걸쳐 확장되며 프라이버시와 검증 가능성을 보장하기 위해 암호학적 기술의 조합을 사용한다.