[論文レビュー] VeriML: Enabling Integrity Assurances and Fair Payments for Machine Learning as a Service

Lingchen Zhao, Qian Wang+6 more|arXiv (Cornell University)|Sep 16, 2019

Privacy-Preserving Technologies in Data参考文献 43被引用数 14

ひとこと要約

VeriML は、サンプリングされた学習イテレーション上で短絡的で非インタラクティブな知識証明（SNARKs）を用いることで、正しさの保証、信頼できる会計、公平な支払いを実現する、検証可能で公平な機械学習 as a service（MLaaS）のための新規フレームワークです。算術回路最適化と安全なブロックチェーンベースの取引ロックを活用することで、6つの機械学習アルゴリズムにおいて実用的なパフォーマンスを達成し、検証オーバーヘッドを低く抑えつつ、精度の損失も最小限に抑えています。

ABSTRACT

Machine Learning as a Service (MLaaS) allows clients with limited resources to outsource their expensive ML tasks to powerful servers. Despite the huge benefits, current MLaaS solutions still lack strong assurances on: 1) service correctness (i.e., whether the MLaaS works as expected); 2) trustworthy accounting (i.e., whether the bill for the MLaaS resource consumption is correctly accounted); 3) fair payment (i.e., whether a client gets the entire MLaaS result before making the payment). Without these assurances, unfaithful service providers can return improperly-executed ML task results or partially trained ML models while asking for over-claimed rewards. Moreover, it is hard to argue for wide adoption of MLaaS to both the client and the service provider, especially in the open market without a trusted third party. In this paper, we present VeriML, a novel and efficient framework to bring integrity assurances and fair payments to MLaaS. With VeriML, clients can be assured that ML tasks are correctly executed on an untrusted server and the resource consumption claimed by the service provider equals to the actual workload. We strategically use succinct non-interactive arguments of knowledge (SNARK) on randomly-selected iterations during the ML training phase for efficiency with tunable probabilistic assurance. We also develop multiple ML-specific optimizations to the arithmetic circuit required by SNARK. Our system implements six common algorithms: linear regression, logistic regression, neural network, support vector machine, Kmeans and decision tree. The experimental results have validated the practical performance of VeriML.

研究の動機と目的

• MLaaS における信頼の欠如、特に誤った結果、過剰な請求、結果の未到着状態での不平等な支払いといった問題を解決すること。
• 信頼できる第三者を必要とせずに、外部に委託された機械学習のトレーニングの強固な整合性を保証すること。
• ブロックチェーンで保護されたハッシュロック取引を用いて、支払いが完了するまでクライアントが結果を受け取らないようにすることで、公平な交換を実現すること。
• SNARKに基づく検証を機械学習ワークロードに最適化し、計算コストと通信コストを低減すること。
• 実世界のデータセット上で検証可能な MLaaS の実用的導入を可能にし、精度損失を最小限に抑えること。

提案手法

• ランダムに選択された学習イテレーションに対して SNARKs を用いてコンactな証明を生成することで、調整可能な信頼度を持つ確率的正しさ検証を可能にします。
• SNARK 検証を可能にするために、機械学習アルゴリズムを二次的算術回路（QACs）に変換し、アルゴリズム固有の最適化により回路の複雑さを低減します。
• サンプリングされたイテレーションを完全なトレーニングプロセスに束縛する「コミット・アンド・プローブ」プロ rotocol を実装し、悪意あるサーバーによる選択的実行を防ぎます。
• 分散型で信頼できない環境でも公平な交換を実現するため、ブロックチェーンを活用してハッシュロック取引を実施し、証明検証後にのみ支払いが行われることを保証します。
• 算術回路コストを低減しながらモデルの精度を維持するため、固定小数点算術と近似法（例：シグモイド関数の Remez 法、ReLU のための平方関数）を適用します。
• 複数のサンプル間で評価キーを再利用することで通信オーバーヘッドを最小限に抑え、トレーニング中には並列送信を実施します。

実験結果

リサーチクエスチョン

• RQ1 全計算を露呈せずに、外部に委託された機械学習トレーニングの正しさを効率的に検証する方法は何か？
• RQ2 サービスプロバイダーが主張するリソース使用量が、実際のワークロードと一致していることをどのように保証できるか？
• RQ3 クライアントが支払いを行う前に結果を受け取らないように、どのように公平な交換を実現できるか？
• RQ4 大規模な機械学習ワークロードに適用可能な SNARK 基盤の検証を実用化するために必要な最適化は何か？
• RQ5 SNARK 向け回路で使用される算術近似によって、どの程度の精度損失が生じるか？

主な発見

• VeriML は実用的な検証オーバーヘッドを達成しており、1つの証明あたり予測検証コストはたったの 288 バイト、10,000 イテレーションにおける 15 証明では 317KB 未満です。
• システムは線形回帰、ロジスティック回帰、ニューラルネットワーク、SVM、K-means、意思決定木の 6 つの一般的な機械学習アルゴリズムをサポートしており、広範な適用可能性を示しています。
• 32 ビット固定小数点算術を用いることで、精度損失はほとんどなく、平均誤差はビット長が増加するに従い急速に減少します。
• シグモイド関数の近似に Remez 法を用いることで、テイラー展開や区分的近似に比べて精度と効率の両方が優れています。
• 算術回路内で ReLU を平方関数に置き換えることで、検証コストを低減しつつ、標準ベンチマークで 99% の高いモデル精度を維持できます。
• 評価キーの通信コストは再利用と並列送信により最小限に抑えられており、イーサリアム上でのブロックチェーンキーエクスチェンジは 1 トランザクションあたり 0.05 ドル未満です。