[논문 리뷰] VeriML: Enabling Integrity Assurances and Fair Payments for Machine Learning as a Service

Lingchen Zhao, Qian Wang외 6명|arXiv (Cornell University)|2019. 09. 16.

Privacy-Preserving Technologies in Data참고 문헌 43인용 수 14

한 줄 요약

VeriML은 샘플링된 학습 반복에 대해 비밀스럽고 비상호작용적인 지식 증명(SNARKs)을 사용하여 검증 가능하고 공정한 기계학습 as a service(MLaaS)를 가능하게 하는 새로운 프레임워크이다. 이는 정확성 보장, 신뢰할 수 있는 회계, 공정한 지불 보장을 위해 설계되었으며, 산술 회로 최적화와 보안 블록체인 기반 거래 잠금을 통해 여섯 가지 기계학습 알고리즘에서 실용적인 성능을 달성하고, 검증 오버헤드는 낮추고 정확도 손실은 최소화한다.

ABSTRACT

Machine Learning as a Service (MLaaS) allows clients with limited resources to outsource their expensive ML tasks to powerful servers. Despite the huge benefits, current MLaaS solutions still lack strong assurances on: 1) service correctness (i.e., whether the MLaaS works as expected); 2) trustworthy accounting (i.e., whether the bill for the MLaaS resource consumption is correctly accounted); 3) fair payment (i.e., whether a client gets the entire MLaaS result before making the payment). Without these assurances, unfaithful service providers can return improperly-executed ML task results or partially trained ML models while asking for over-claimed rewards. Moreover, it is hard to argue for wide adoption of MLaaS to both the client and the service provider, especially in the open market without a trusted third party. In this paper, we present VeriML, a novel and efficient framework to bring integrity assurances and fair payments to MLaaS. With VeriML, clients can be assured that ML tasks are correctly executed on an untrusted server and the resource consumption claimed by the service provider equals to the actual workload. We strategically use succinct non-interactive arguments of knowledge (SNARK) on randomly-selected iterations during the ML training phase for efficiency with tunable probabilistic assurance. We also develop multiple ML-specific optimizations to the arithmetic circuit required by SNARK. Our system implements six common algorithms: linear regression, logistic regression, neural network, support vector machine, Kmeans and decision tree. The experimental results have validated the practical performance of VeriML.

연구 동기 및 목표

• 기계학습 as a service(MLaaS)에서 발생하는 신뢰 격차, 즉 잘못된 결과, 과도한 청구, 결과 제공 이전의 불공정한 지불 문제를 해결하기 위해.
• 신뢰할 수 없는 제3자 없이 외주화된 기계학습 학습의 강력한 무결성 보장을 제공하기 위해.
• 블록체인 기반 해시 잠금 거래를 통해 지불 후에만 결과를 받는 것을 방지함으로써 공정한 교환을 보장하기 위해.
• SNARK 기반 검증을 기계학습 워크로드에 최적화하여 계산 및 통신 비용을 감소시키기 위해.
• 실세계 데이터셋에서 검증 가능한 MLaaS의 실용적 구현을 가능하게 하며, 정확도 손실을 최소화하기 위해.

제안 방법

• 임의로 선택된 학습 반복에 대해 SNARKs를 사용해 압축된 증명을 생성함으로써, 조정 가능한 신뢰도로 정확성에 대한 확률적 검증을 가능하게 한다.
• SNARK 검증을 지원하기 위해 기계학습 알고리즘을 이차 산술 회로(QACs)로 변환하고, 알고리즘 별 최적화를 통해 회로 복잡도를 감소시킨다.
• 샘플된 반복을 전체 학습 과정에 바인딩하는 커밋-프루브 프로토콜을 구현하여 악성 서버가 선택적으로 실행하는 것을 방지한다.
• 해시 잠금 거래를 통해 탈중앙화되고 신뢰할 수 없는 공정한 교환을 보장하기 위해 블록체인을 활용한다. 이는 증명 검증 후에만 지불이 이루어지도록 보장한다.
• 산술 비용을 줄이기 위해 고정소수점 산술과 근사 기법(예: 시그모이드 함수 근사에 대한 Remez 방법, ReLU에 대한 제곱 함수)을 적용하며, 모델 정확도는 유지한다.
• 여러 샘플 간에 평가 키를 재사용하여 통신 오버헤드를 최소화하고, 학습 중 병렬 전송을 통해 효율성을 높인다.

실험 결과

연구 질문

• RQ1 전체 계산을 폭 드러내지 않고도 외주화된 기계학습 학습의 정확성을 효율적으로 검증할 수 있는 방법은 무엇인가?
• RQ2 서비스 제공자가 주장하는 자원 사용량이 실제 워크로드와 일치하는지 보장할 수 있는 방법은 무엇인가?
• RQ3 고객이 지불하기 전에 결과를 받는 것을 방지하기 위해 어떻게 공정한 교환을 보장할 수 있는가?
• RQ4 대규모 기계학습 워크로드에 대해 SNARK 기반 검증을 실용적으로 만들기 위해 필요한 최적화는 무엇인가?
• RQ5 SNARK 호환 회로에서 산술 근사 기법이 초래하는 정확도 손실은 얼마나 되는가?

주요 결과

• VeriML은 실용적인 검증 오버헤드를 달성하였으며, 증명당 예측 검증 비용은 288바이트에 불과하고, 10,000개의 반복에 대해 15개의 증명은 총 317KB 미만이다.
• 시스템은 선형 회귀, 로지스틱 회귀, 신경망, SVM, K-평균, 의사결정나무 등 여섯 가지 일반적인 기계학습 알고리즘을 지원하여 광범위한 적용 가능성을 입증하였다.
• 32비트 고정소수점 산술을 사용할 경우 정확도 손실이 극히 미미하며, 비트 길이가 증가할수록 평균 오차가 급격히 감소한다.
• 시그모이드 함수 근사를 위한 Remez 방법은 정확도와 효율성 면에서 테일러 전개 및 조각별 근사 기법보다 뛰어나다.
• 산술 회로에서 ReLU를 제곱 함수로 대체함으로써 검증 비용을 감소시키면서도 표준 벤치마크에서 높은 모델 정확도(99%)를 유지한다.
• 평가 키의 통신 비용은 재사용과 병렬 전송를 통해 최소화되었으며, 이더리움 기반 블록체인 키 교환 비용은 거래당 0.05달러 이하였다.