[논문 리뷰] Proof of Learning (PoLe): Empowering Machine Learning with Consensus Building on Blockchains

Yixiao Lan, Yuan Liu외 1명|arXiv (Cornell University)|2020. 07. 29.

Blockchain Technology Applications and Security참고 문헌 23인용 수 8

한 줄 요약

이 논문은 블록체인 합의 기법으로 Proof of Learning (PoLe)를 제안한다. PoLe는 기존의 Proof-of-Work (PoW)에서 사용하는 계산 자원을 신경망 학습에 재활용함으로써 블록체인 보안과 기계학습 효율성을 동시에 향상시킨다. 사기 방지를 위해 보안 매핑 레이어(Secure Mapping Layer, SML)를 통합함으로써, 모델 성능을 유지하면서도 실용적인 기계학습 학습 작업을 통해 탈중앙화되고 에너지 효율적인 합의 기법을 실현한다.

ABSTRACT

The progress of deep learning (DL), especially the recent development of automatic design of networks, has brought unprecedented performance gains at heavy computational cost. On the other hand, blockchain systems routinely perform a huge amount of computation that does not achieve practical purposes in order to build Proof-of-Work (PoW) consensus from decentralized participants. In this paper, we propose a new consensus mechanism, Proof of Learning (PoLe), which directs the computation spent for consensus toward optimization of neural networks (NN). In our mechanism, the training/testing data are released to the entire blockchain network (BCN) and the consensus nodes train NN models on the data, which serves as the proof of learning. When the consensus on the BCN considers a NN model to be valid, a new block is appended to the blockchain. We experimentally compare the PoLe protocol with Proof of Work (PoW) and show that PoLe can achieve a more stable block generation rate, which leads to more efficient transaction processing. We also introduce a novel cheating prevention mechanism, Secure Mapping Layer (SML), which can be straightforwardly implemented as a linear NN layer. Empirical evaluation shows that SML can detect cheating nodes at small cost to the predictive performance.

연구 동기 및 목표

• Proof-of-Work (PoW) 블록체인 합의 기법이 유발하는 막대한 계산 자원 낭비와 높은 에너지 소비 문제를 해결하기 위해.
• 블록체인 채굴 작업을 실용적인 기계학습 모델 학습에 재활용하여 합의 기법을 실제 인공지능 진보와 연계하기 위해.
• 악성 노드가 사전 학습된 모델 솔루션을 재사용하거나 변조하여 부당한 보상을 획득하는 것을 방지할 수 있는 안전한 메커니즘을 설계하기 위해.
• 제안된 합의 기법이 학습된 모델의 높은 예측 성능을 유지하는지 확인하기 위해.
• PoLe가 PoW 대비 안정적인 블록 생성과 효율적인 거래 처리를 달성할 수 있음을 입증하기 위해.

제안 방법

• PoLe는 비대칭 퍼즐로 비볼록 신경망 최적화 과제를 도입하여 PoW의 해시 퍼즐을 대체한다. 이 퍼즐을 해결하기 위해서는 목표 정확도에 도달할 수 있도록 모델을 학습시켜야 한다.
• 합의 기법은 보안 매핑 레이어(SML)를 통해 구현된 기능 암호화 체계를 사용한다. SML은 이전 블록의 해시에 따라 각 블록을 이전 블록의 해시와 연결하는 선형 신경망 레이어이다.
• SML은 이전 블록의 해시에 의해 결정된 방향으로 입력 특징을 투영함으로써, 솔루션이 다른 체인이나 블록 간에 재사용될 수 없도록 보장한다.
• 데이터 노드는 보상과 함께 기계학습 과제를 공지한다. 합의 노드들은 최소 학습 정확도를 충족시키기 위해 모델을 학습하고, 이후 테스트 세트가 공개되어 일반화 성능을 평가한다.
• 테스트 세트에서 가장 높은 성능을 보인 모델이 선택되며, 이에 따라 보상이 배분되어 유효한 모델 성능에 대한 합의를 이룬다.
• 유용한 기계학습 과제가 없을 경우 시스템은 PoW로 유연하게 내려가며, 공백 기간 동안에도 블록체인의 기능을 유지한다.

실험 결과

연구 질문

• RQ1 합의를 위한 계산 자원 소모가 실질적인 기계학습 모델 학습에 직접 기여하도록 블록체인 합의 기법을 설계할 수 있는가?
• RQ2 블록체인이 악성 참가자가 사전 학습된 모델을 재사용하거나 변조하여 부당한 보상을 획득하는 것을 방지하기 위해 어떻게 조치할 수 있는가?
• RQ3 보안 매핑 레이어(SML)의 통합이 학습된 신경망의 예측 성능에 어느 정도 영향을 미치는가?
• RQ4 PoLe 기법은 기존의 PoW 대비 더 안정적인 블록 생성 속도와 향상된 거래 처리 효율성을 달성하는가?
• RQ5 제안된 시스템은 채굴 작업을 실질적인 AI 학습에 재활용하면서도 데이터 무결성과 합의 보안을 유지할 수 있는가?

주요 결과

• PoLe는 PoW보다 더 안정적인 블록 생성 속도를 달성하여, 더 민감하고 효율적인 탈중앙화된 데이터 저장 및 거래 처리를 가능하게 한다.
• 보안 매핑 레이어(SML)는 학습 시간에 21%에서 29%의 증가만을 유발하며, 모델 정확도에 미치는 영향은 최소한이다. 예를 들어, VGG-16은 SML을 사용할 경우 99.70%의 정확도를 기록했고, SML 없이 사용할 경우 99.93%였다.
• 학습된 모델에서 SML 레이어를 제거하면 테스트 정확도가 99.50%에서 13.48%로 떨어지며, 이는 사기 노드 탐지 능력이 뛰어나다는 것을 입증한다.
• CIFAR-10 데이터셋에서 SML 기반 VGG-16 모델은 91.25%의 테스트 정확도를 기록했고, 원본 모델의 91.70%와는 약간 낮은 수준이지만 큰 차이가 없었다.
• IRIS 데이터셋에서의 MLP 모델은 보안 버전과 원본 버전 모두에서 100%의 정확도를 기록했으며, 이는 SML이 간단한 과제에서는 성능 저하를 유발하지 않음을 확인한다.
• 실험 결과는 PoLe가 기계학습 기반 계산을 통해 안전하고 탈중앙화된 합의를 실현하면서도 높은 예측 성능을 유지함을 확인한다.