[논문 리뷰] zkDL: Efficient Zero-Knowledge Proofs of Deep Learning Training

Hao-Chen Sun, Bai, Tonghe외 2명|arXiv (Cornell University)|2023. 07. 30.

Parallel Computing and Optimization Techniques인용 수 4

한 줄 요약

zkDL은 실세계의 깊이 신경망에서 사용 가능한 효율적인 퍼블릭 검증이 가능한 양자화된 지식 증명 시스템을 제안하며, 다항식 근사 없이도 ReLU 활성화 함수와 역전파를 원천적으로 처리할 수 있는 zkReLU를 도입하였다. 8층 네트워크(1000만 파라미터, 배치 크기 64)에서 배치당 1초 이내로 증명 생성을 달성하여, 실세계의 깊이 신경망에서 기밀을 유지하면서도 확장 가능한 모델 훈련 검증이 가능하게 하였다.

ABSTRACT

The recent advancements in deep learning have brought about significant changes in various aspects of people's lives. Meanwhile, these rapid developments have raised concerns about the legitimacy of the training process of deep neural networks. To protect the intellectual properties of AI developers, directly examining the training process by accessing the model parameters and training data is often prohibited for verifiers. In response to this challenge, we present zero-knowledge deep learning (zkDL), an efficient zero-knowledge proof for deep learning training. To address the long-standing challenge of verifiable computations of non-linearities in deep learning training, we introduce zkReLU, a specialized proof for the ReLU activation and its backpropagation. zkReLU turns the disadvantage of non-arithmetic relations into an advantage, leading to the creation of FAC4DNN, our specialized arithmetic circuit design for modelling neural networks. This design aggregates the proofs over different layers and training steps, without being constrained by their sequential order in the training process. With our new CUDA implementation that achieves full compatibility with the tensor structures and the aggregated proof design, zkDL enables the generation of complete and sound proofs in less than a second per batch update for an 8-layer neural network with 10M parameters and a batch size of 64, while provably ensuring the privacy of data and model parameters. To our best knowledge, we are not aware of any existing work on zero-knowledge proof of deep learning training that is scalable to million-size networks.

연구 동기 및 목표

• 산업 및 규제 환경에서 깊이 신경망 훈련을 위한 확장 가능하고 기밀 보장이 되는 검증 메커니즘이 부족한 문제를 해결하기 위해.
• 양자화된 지식 증명 시스템 내에서 비산술 연산(특히 ReLU 활성화 함수)을 검증하는 데 있어 근본적인 과제를 극복하기 위해.
• 깊이 신경망 훈련의 다층적, 순차적, 반복적인 특성을 효율적으로 반영한 산술 회로 모델을 설계하기 위해.
• 대규모 깊이 신경망에 대해 종단 간 검증 가능한 훈련을 가능하게 하여, 데이터 및 모델 파라미터의 정확성과 기밀성을 모두 확보하기 위해.
• 실세계 배포에 적합한 실용적 성능을 달성하기 위해 CUDA 최적화 구현을 개발하기 위해.

제안 방법

• ReLU와 그 역전파를 위한 전용 양자화된 지식 증명인 zkReLU를 도입하여, 비선형성 자체를 계산적 이점으로 삼고 제약으로 보지 않는다.
• 전체 깊이 신경망 훈련 과정(전방 및 역방향 전파, 계층별 연산, 배치 처리 등)을 모델링하는 산술 회로 설계인 FAC4DNN을 제안하며, 텐서 및 계층의 구조를 유지한다.
• zkReLU의 구조적 대칭성과 계산 패tern을 활용해 계층 간 및 훈련 단계 간 증명을 집계함으로써, 훈련 순서에 종속되지 않은 비순차적 증명 조합을 가능하게 한다.
• 딥 러닝 프레임워크의 텐서 레이아웃과 일치하는 CUDA 네이티브 구현을 설계하여 GPU 하드웨어에서 고성능 증명 생성 및 검증을 가능하게 한다.
• 현대 ZKP 시스템과 호환되는 양자화된 지식 증명 백엔드를 사용하여, 훈련 데이터 및 모델 파라미터에 대해 타당성과 기밀 보장 보장을 확보한다.
• 증명 시스템을 전체 훈련 파이프라인에 통합하여, 모델 개발자가 훈련 로직을 수정하지 않고도 각 배치 업데이트 후 증명을 생성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 ReLU와 같은 비산술 연산이 다항식 근사 없이도 양자화된 지식 증명 내에서 원천적으로 검증될 수 있는가?
• RQ2 수백만 파라미터를 가진 대규모 모델에 대해 깊이 신경망 훈련의 증명 생성이 얼마나 효율적으로 이루어질 수 있는가?
• RQ3 다른 계층과 훈련 단계 간의 증명을 순차적 의존성 없이 집계할 수 있는가? 이는 계산 오버헤드를 줄이는 데 기여하는가?
• RQ4 GPU 최적화된 양자화된 지식 증명 시스템을 구축하여, 깊이 신경망 훈련에서 증명 생성 시간을 1초 이내로 확보하는 것이 가능한가?
• RQ5 이러한 시스템이 훈련의 정확성과 동시에 훈련 데이터 및 모델 파라미터에 대해 강력한 기밀 보장 보장을 제공할 수 있는가?

주요 결과

• zkDL은 8층 네트워크(1000만 파라미터, 배치 크기 64)에서 배치당 1초 이내로 종합적이고 타당한 양자화된 지식 증명을 생성한다.
• 시스템은 실세계 규모의 깊이 신경망에 대해 검증 가능한 훈련을 지원하며, 이는 기존 연구에서 유사한 스케일링 성능을 달성한 바가 없다.
• FAC4DNN 기반의 증명 집계로 인해, 훈련 단계 및 계층의 순서에 종속되지 않는 증명 조합을 통해 계산 및 통신 오버헤드를 감소시켰다.
• CUDA 최적화된 구현은 표준 딥 러닝 텐서 구조와 완전히 호환되어 기존 훈련 파이프라인에 효율적으로 통합될 수 있다.
• 검증 프로토콜의 순차적 성격으로 인해 검증 시간이 증명 시간과 유사하게 나타나며, 이는 향후 병렬 검증 알고리즘의 필요성을 시사한다.
• zkDL은 기밀 보장과 스케일링 성능을 입증한 종단 간 양자화된 지식 검증 가능성을 제공하는 최초의 프레임워크이다.