[논문 리뷰] Proof of Federated Learning: A Novel Energy-recycling Consensus Algorithm

Xidi Qu, Shengling Wang외 2명|arXiv (Cornell University)|2019. 12. 26.

Privacy-Preserving Technologies in Data참고 문헌 21인용 수 13

한 줄 요약

이 논문은 기존의 계산 비용이 큰 퍼즐을 대체하여 연합 학습 작업을 활용함으로써 쓸모없는 채굴 에너지를 재활용하는 새로운 에너지 재활용 합의 알고리즘인 연합 학습의 증명(PoFL)을 제안한다. 이 프레임워크는 역게임 기반의 데이터 거래 메커니즘과 동형 암호화 및 안전한 양자리 계산을 이용한 프라이버시 보존 모델 검증 프rotocol를 통해 데이터 프라이버시를 보장하며, 시뮬레이션을 통해 높은 효율성과 효과성을 입증한다.

ABSTRACT

Proof of work (PoW), the most popular consensus mechanism for Blockchain, requires ridiculously large amounts of energy but without any useful outcome beyond determining accounting rights among miners. To tackle the drawback of PoW, we propose a novel energy-recycling consensus algorithm, namely proof of federated learning (PoFL), where the energy originally wasted to solve difficult but meaningless puzzles in PoW is reinvested to federated learning. Federated learning and pooled-ming, a trend of PoW, have a natural fit in terms of organization structure. However, the separation between the data usufruct and ownership in Blockchain lead to data privacy leakage in model training and verification, deviating from the original intention of federal learning. To address the challenge, a reverse game-based data trading mechanism and a privacy-preserving model verification mechanism are proposed. The former can guard against training data leakage while the latter verifies the accuracy of a trained model with privacy preservation of the task requester's test data as well as the pool's submitted model. To the best of our knowledge, our paper is the first work to employ federal learning as the proof of work for Blockchain. Extensive simulations based on synthetic and real-world data demonstrate the effectiveness and efficiency of our proposed mechanisms.

연구 동기 및 목표

• 기존 블록체인에서의 Proof of Work(PoW)가 낭비하는 막대한 에너지를 줄이기 위해 계산 에너지를 유용한 작업에 재활용하는 것.
• 데이터 소유권과 사용이 분리된 개방형 블록체인 환경에서 연합 학습을 통합할 경우 발생할 수 있는 데이터 프라이버시 泄露 위험을 해결하는 것.
• 시험 데이터나 모델 가중치를 폭 lộ하지 않고도 모델 정확도를 검증할 수 있는 안전하고 효율적인 메커니즘을 설계하는 것.
• 풀 기반 채굴의 확장성과 연합 학습의 프라이버시 이점을 결합한 실용적인 블록체인 합의 메커니즘을 제공하는 것.

제안 방법

• 풀 기반 채굴에서 채굴자가 국소 모델 업데이트를 기여하여 글로벌 모델을 훈련하는 일반적인 PoFL 프레임워크를 제안한다. 이는 기존 PoW 퍼즐을 대체한다.
• 모델 정확도, 암호화된 시험 레이블, 그리고 안전한 검증을 위한 동형 암호화를 포함하는 새로운 PoFL 블록 구조를 설계한다.
• 채굴 풀이 훈련 데이터 泄露 없이 모델을 훈련하도록 유도하는 역게임 기반 데이터 거래 메커니즘을 도입한다. 이는 이득 최대화가 정직한 행동과 일치할 때 발생하도록 한다.
• 시험 데이터의 프라이버시를 보존하면서 예측 레이블과 진짜 레이블을 안전하게 비교하기 위해 동형 암호화를 활용한다.
• 모델이나 시험 데이터를 폭로하지 않고도 작업 요청자와 풀 간의 모델 정확도를 비교하기 위해 안전한 양자리 계산을 사용한다.
• 합성 데이터와 실제 세계 데이터를 사용하여 다양한 조건 하에서 효율성, 정확도, 프라이버시를 평가하기 위해 시스템을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 연합 학습이 기존 암호화 퍼즐의 대체로 블록체인 합의에 효과적으로 사용될 수 있는가? 이는 낭비된 채굴 에너지를 재활용할 수 있는가?
• RQ2 채굴자가 훈련 데이터를 소유하고 있지만 모델이 공개 블록체인 환경에서 훈련되는 상황에서 데이터 프라이버시는 어떻게 유지할 수 있는가?
• RQ3 풀이 여전히 정직하게 참여하도록 유도하면서도 훈련 데이터 泄露를 방지할 수 있는 메커니즘은 무엇인가?
• RQ4 시험 데이터나 모델 가중치를 신뢰할 수 없는 당사자에게 폭로하지 않고도 모델 정확도를 어떻게 검증할 수 있는가?
• RQ5 시간과 확장성 측면에서 프라이버시 보존 검증의 성능 오버헤드는 어느 정도인가?

주요 결과

• PoFL에서 전체 노드가 모델 정확도를 정렬하고 검증하는 데 소요되는 시간은 9,364개의 노드가 있어도 60 마이크로초 이내로, 높은 확장성을 보여준다.
• 전체 노드가 암호화된 시험 데이터를 사용해 모델 정확도를 검증하는 평균 시간은 1.65에서 1.7초 사이이며, 총 검증 시간은 2초를 초과하지 않는다.
• 역게임 기반 데이터 거래 메커니즘이 성공적으로 풀이 데이터 泄露를 방지하도록 유도한다. 이는 데이터가 비공개 상태일 때에만 이득이 최대화되기 때문이다.
• 프라이버시 보존 모델 검증 메커니즘은 정확도 비교 과정에서 작업 요청자의 시험 데이터와 풀의 모델이 폭로되지 않도록 효과적으로 보호한다.
• 합성 및 실제 세계 데이터에 대한 시뮬레이션 결과, PoFL는 강력한 프라이버시 보장을 유지하면서도 높은 모델 정확도와 낮은 검증 지연을 달성함을 확인했다.
• PoFL는 블록체인에서 연합 학습을 증명 작업으로 통합한 최초의 연구로, 기존 PoW에 비해 지속 가능하고 프라이버시 보존형 대안을 제공한다.