[논문 리뷰] DLBC: A Deep Learning-Based Consensus in Blockchains for Deep Learning Services

Boyang Li, Changhao Chenli외 3명|arXiv (Cornell University)|2019. 04. 15.

Blockchain Technology Applications and Security인용 수 8

한 줄 요약

이 논문은 블록체인을 위한 딥러닝 기반의 공조 기반 기술인 DLBC를 제안한다. 이 기술은 채굴자들의 계산 능력을 에너지 집약적인 해시 계산 대신 딥러닝 모델을 훈련시키는 데 재사용한다. 작업 스케줄링, 난이도-점수 랭킹 시스템, DNN 워터마킹을 통합함으로써, 생물의학 데이터셋에서 FCN 및 U-Net과 같은 대규모 모델을 효율적이고 안전하며 확장 가능한 방식으로 훈련시킬 수 있으며, 최소한의 오버헤드(예: 0.98초 평균 디지털 서명 시간)로 모델 도용에 대한 저항력이 강하다. 워터마킹 제거에 대한 제재로 인해 도용에 대한 비용이 크게 증가한다.

ABSTRACT

With the increasing artificial intelligence application, deep neural network (DNN) has become an emerging task. However, to train a good deep learning model will suffer from enormous computation cost and energy consumption. Recently, blockchain has been widely used, and during its operation, a huge amount of computation resources are wasted for the Proof of Work (PoW) consensus. In this paper, we propose DLBC to exploit the computation power of miners for deep learning training as proof of useful work instead of calculating hash values. it distinguishes itself from recent proof of useful work mechanisms by addressing various limitations of them. Specifically, DLBC handles multiple tasks, larger model and training datasets, and introduces a comprehensive ranking mechanism that considers tasks difficulty(e.g., model complexity, network burden, data size, queue length). We also applied DNN-watermark [1] to improve the robustness. In Section V, the average overhead of digital signature is 1.25, 0.001, 0.002 and 0.98 seconds, respectively, and the average overhead of network is 3.77, 3.01, 0.37 and 0.41 seconds, respectively. Embedding a watermark takes 3 epochs and removing a watermark takes 30 epochs. This penalty of removing watermark will prevent attackers from stealing, improving, and resubmitting DL models from honest miners.

연구 동기 및 목표

• 블록체인에서 기존의 작업 증명(Proof-of-Work, PoW) 기반의 높은 에너지 소비와 계산 자원 낭비 문제를 해결한다.
• 기존의 유용한 작업 증명(Proof-of-Useful-Work, PoUW) 기반 기술의 한계를 극복한다. 예를 들어 대규모 모델 처리, 다중 작업 처리, 강력한 모델 소유권 보호 기능의 부재 등이다.
• 동적 보상 메커니즘을 통해 작업 게시자를 유도하여 지속 가능한 블록체인 운영을 가능하게 한다.
• 워터마킹 기반 기법을 통해 채굴자가 제출한 딥러닝 모델의 지적 재산권을 보호한다. 이는 모델 도용에 대해 높은 비용을 부과함으로써 도용을 효과적으로 억제한다.
• 작업 스케줄러와 난이도 점수 시스템을 도입하여 채굴자 간의 공정성과 일관성을 확보함으로써 최적의 균형 잡힌 작업 분배를 유도한다.

제안 방법

• 메모리 풀을 확장하여 확인되지 않은, 선택되지 않은 훈련 작업을 저장함으로써 작업 지속성과 부하 균형을 확보한다.
• 모델 복잡도, 데이터 크기, 네트워크 부하, 큐 길이 등을 고려해 각 훈련 작업에 대해 새로운 난이도 점수를 도입하여 채굴자가 작업을 선택하는 데 도움을 준다.
• 블록 수준의 작업 스케줄러를 구현하여 블록 간격 내 모든 채굴자가 동일한 선택된 작업을 수행하도록 보장함으로써 공조 유지와 공정성을 확보한다.
• 블록 데이터 구조를 개선하여 현재 및 대기 중인 작업을 포함함으로써 훈련 작업 부하의 투명성과 검증 가능성을 높인다.
• 모델 훈련 파이프라인에 DNN 워터마킹을 통합하여 모델 가중치에 고유하고 탐지 가능한 서명을 삽입함으로써 소유권 확인 기능을 제공한다.
• 디지털 서명에 SHA-256을 적용하고, 모델 전송 중 네트워크 오버헤드를 평가하여 전체 성능에 미치는 영향을 최소화한다.

실험 결과

연구 질문

• RQ1 채굴자들의 계산 능력을 해시 계산 대신 딥러닝 모델 훈련에 사용하는 블록체인 공조 기반 기술을 설계할 수 있는가? 이는 에너지 낭비를 줄이는 데 기여하는가?
• RQ2 다양하고 비균일한 복잡도의 딥러닝 작업을 수행하는 채굴자가 참여하는 블록체인 환경에서 공정성과 일관성을 유지하는 방법은 무엇인가?
• RQ3 공개적이고 분산된 환경에서 채굴자가 제출한 딥러닝 모델의 보안성과 소유권을 확보하기 위한 메커니즘은 무엇인가?
• RQ4 지속 가능한 블록체인 운영을 위해 작업 게시자가 고품질의 대규모 훈련 작업을 제출하도록 유도하기 위한 메커니즘은 무엇인가?
• RQ5 블록체인 공조 과정에 딥러닝 훈련과 워터마킹을 통합할 경우 성능 오버헤드는 얼마나 되며, 실용적으로 수용 가능한가?

주요 결과

• FCN, MNIST, ARS 등 다양한 작업에서 평균 디지털 서명 오버헤드는 0.001에서 1.25초 사이로 나타나, 암호화 검증에 대한 계산 비용이 매우 낮음을 시사한다.
• 모델 검증을 위한 네트워크 전송 오버헤드는 평균 0.37에서 3.77초로 매우 낮았으며, 이는 FCN와 같은 대규모 모델의 훈련 시간에 비해 크게 낮은 수준이었다.
• DNN 워터마킹을 삽입하는 데는 단지 3개의 훈련 에포크만 필요했고, 이를 성공적으로 제거하기 위해서는 약 30개의 에포크가 필요해 모델 도용에 대한 강력한 경고 효과를 제공했다.
• 신뢰할 수 있는 채굴자들은 5회 이내에 높은 워터마킹 신뢰도 수준을 확보하여 워터마킹 기반 기법의 신뢰성과 탐지 가능성의 우수성을 입증했다.
• DLBC를 통해 훈련된 FCN 및 U-Net 모델은 높은 분할 정확도를 달성했으며, FCN는 0.85의 Dice 스코어를 기록했고, U-Net 역시 3D 심장 CT 데이터에서 유사한 성능을 보였다.
• 초기 훈련 후 성능 포화 현상을 감지함으로써 이중 지출 공격을 효과적으로 방지했다. 이는 추가 훈련이 유의미한 이득을 주지 않으며, 따라서 악의적인 공격자에게는 이득이 되지 않는다는 점을 의미한다.