[논문 리뷰] Proof-of-Learning: Definitions and Practice

Hengrui Jia, Mohammad Yaghini외 5명|arXiv (Cornell University)|2021. 03. 09.

Adversarial Robustness in Machine Learning참고 문헌 79인용 수 5

한 줄 요약

이 논문은 확률적 경사 하강법(SGD)의 특성에 기반해, 모델 트레이너가 계산 비용이 큰 훈련 과정을 완전히 수행했다는 것을 암호학적으로 증명할 수 있는 Proof-of-Learning (PoL) 메커니즘을 소개한다. SGD 내재의 무작위성에 기반해 PoL는 최종 모델 가중치가 정확하고 계산 비용이 큰 훈련 과정을 통해 유도되었음을 검증 가능한 증거를 생성하며, 기존 훈련 파이프라인을 수정하지 않고도 무결성과 소유권을 보장한다.

ABSTRACT

Training machine learning (ML) models typically involves expensive iterative optimization. Once the model's final parameters are released, there is currently no mechanism for the entity which trained the model to prove that these parameters were indeed the result of this optimization procedure. Such a mechanism would support security of ML applications in several ways. For instance, it would simplify ownership resolution when multiple parties contest ownership of a specific model. It would also facilitate the distributed training across untrusted workers where Byzantine workers might otherwise mount a denial-of-service by returning incorrect model updates. In this paper, we remediate this problem by introducing the concept of proof-of-learning in ML. Inspired by research on both proof-of-work and verified computations, we observe how a seminal training algorithm, stochastic gradient descent, accumulates secret information due to its stochasticity. This produces a natural construction for a proof-of-learning which demonstrates that a party has expended the compute require to obtain a set of model parameters correctly. In particular, our analyses and experiments show that an adversary seeking to illegitimately manufacture a proof-of-learning needs to perform *at least* as much work than is needed for gradient descent itself. We also instantiate a concrete proof-of-learning mechanism in both of the scenarios described above. In model ownership resolution, it protects the intellectual property of models released publicly. In distributed training, it preserves availability of the training procedure. Our empirical evaluation validates that our proof-of-learning mechanism is robust to variance induced by the hardware (ML accelerators) and software stacks.

연구 동기 및 목표

• 기계 학습 모델이 비용이 큰 최적화 과정을 진짜로 수행했다는 것을 증명할 수 있는 메커니즘이 부족한 문제를 해결하기 위해.
• 모델 도용이나 무단 배포 상황에서 안전한 모델 소유권 분쟁 해결을 가능하게 하기 위해.
• 신뢰할 수 없는 워커로부터 오는 바이진틴스 업데이트를 탐지하거나 방지함으로써 분산 훈련의 무결성을 확보하기 위해.
• 기존 딥 러닝 워크플로우에 자연스럽게 통합될 수 있는 최소한의 오버헤드를 가진 증명 시스템을 설계하기 위해.

제안 방법

• 확률적 경사 하강법(SGD)의 무작위성을 활용해, 훈련 경로에 고유하게 연결된 비밀 정보를 생성한다.
• 배치 인덱스와 중간 모델 가중치의 시퀀스로 구성된 증거를 구성하여, 검증자가 훈련 과정의 일부 단계를 재실행할 수 있도록 한다.
• 재실행을 검증의 기본 원리로 사용한다: 검증자는 제공된 증거를 바탕으로 초기화부터 최종 가중치까지의 기울기 업데이트를 재계산한다.
• 정상적인 훈련과 악성 위조 사이의 계산 비대칭성에 의존한다—악성 공격자는 유효한 증거를 위조하기 위해 원래 훈련과 동일하거나 그 이상의 작업을 수행해야 한다.
• 모델 가중치를 float16 정밀도로 사용해 저장 오버헤드를 줄이면서도 검증 정확도를 유지한다.
• 데이터 기밀성의 한계를 인정하고, 다중 당사자 계산 등 비공개 추론 프로토콜을 대안으로 제안한다.

실험 결과

연구 질문

• RQ1 모델 트레이너는 훈련 절차를 수정하지 않고도, SGD를 사용해 전체 훈련 과정을 수행했다는 암호학적 검증 가능한 증거를 생성할 수 있는가?
• RQ2 SGD 내재의 무작위성이 악성 공격자가 실제 훈련보다 적은 작업량으로 증거를 위조하는 것을 방지할 정도로 충분한 계산 비대칭성을 제공하는가?
• RQ3 PoL는 공개된 모델에 대한 소유권 분쟁, 특히 모델 도용 공격 상황에서 활용될 수 있는가?
• RQ4 PoL는 신뢰할 수 없는 워커가 잘못된 모델 업데이트를 제출하는 것을 탐지하거나 억제함으로써 분산 훈련의 무결성을 확보할 수 있는가?
• RQ5 실제 환경에 PoL를 구현할 때 저장소, 검증 비용, 기밀성 간의 실용적 트레이드오프는 어떠한가?

주요 결과

• 증거 기반 학습 메커니즘이 악성 공격자가 증거를 위조하기 위해 원래 훈련 과정만큼의 계산 작업을 수행해야 하므로, 확률적 경사 하강법 경로의 역행이 어렵기 때문에 이를 보장한다.
• 실증적 평가 결과 PoL는 ML 가속기나 시스템 수준의 노이즈 등 하드웨어 및 소프트웨어 스택의 차이에도 강건함을 입증했다.
• 모델 가중치를 float16 형식으로 저장하면 저장 공간을 절반으로 줄일 수 있으며, 검증 정확도에 미미한 영향을 미친다.
• 연속된 PoL 체인의 길이가 길어질수록 검증 성공 확률이 곱으로 감소하므로, 장기적인 전이 학습 파이프라인에서는 사용에 제한이 있다.
• 비공개 추론 프로토콜은 검증 중 훈련 데이터 기밀성을 보호할 수는 있으나, 추가적인 계산 오버헤드를 유발한다.
• 기본 기반의 의사 난수 생성기(PRG)는 훈련의 무작위성을 감소시켜 PoL의 보안을 약화시킬 수 있으며, 이는 재현 가능한 무작위성 소스의 필요성을 강조한다.