[论文解读] SWIFT: Super-fast and Robust Privacy-Preserving Machine Learning

Nishat Koti, Mahak Pancholi+2 more|arXiv (Cornell University)|May 20, 2020

Privacy-Preserving Technologies in Data参考文献 49被引用 36

一句话总结

SWIFT 在 Secure Outsourced Computation 场景中提出一个鲁棒的、对恶意攻击具备安全性的 3-party 与 4-party PPML 框架，在保证输出交付的同时，其效率与最先进的同行相当竞争，并通过 Logistic Regression 和神经网络如 VGG16 与 LeNet 进行验证。

ABSTRACT

Performing machine learning (ML) computation on private data while maintaining data privacy, aka Privacy-preserving Machine Learning~(PPML), is an emergent field of research. Recently, PPML has seen a visible shift towards the adoption of the Secure Outsourced Computation~(SOC) paradigm due to the heavy computation that it entails. In the SOC paradigm, computation is outsourced to a set of powerful and specially equipped servers that provide service on a pay-per-use basis. In this work, we propose SWIFT, a robust PPML framework for a range of ML algorithms in SOC setting, that guarantees output delivery to the users irrespective of any adversarial behaviour. Robustness, a highly desirable feature, evokes user participation without the fear of denial of service. At the heart of our framework lies a highly-efficient, maliciously-secure, three-party computation (3PC) over rings that provides guaranteed output delivery (GOD) in the honest-majority setting. To the best of our knowledge, SWIFT is the first robust and efficient PPML framework in the 3PC setting. SWIFT is as fast as (and is strictly better in some cases than) the best-known 3PC framework BLAZE (Patra et al. NDSS'20), which only achieves fairness. We extend our 3PC framework for four parties (4PC). In this regime, SWIFT is as fast as the best known fair 4PC framework Trident (Chaudhari et al. NDSS'20) and twice faster than the best-known robust 4PC framework FLASH (Byali et al. PETS'20). We demonstrate our framework's practical relevance by benchmarking popular ML algorithms such as Logistic Regression and deep Neural Networks such as VGG16 and LeNet, both over a 64-bit ring in a WAN setting. For deep NN, our results testify to our claims that we provide improved security guarantee while incurring no additional overhead for 3PC and obtaining 2x improvement for 4PC.

研究动机与目标

• 在 SOC 设置中推动鲁棒的 (GOD) PPML，其中服务器可能表现出对抗性行为。
• 提出 SWIFT, 一种在有诚实多数设置下，基于环上的具有 GOD 的恶意安全的 3PC/4PC 框架。
• 开发基于预处理的 PPML 基元（乘法、点积、截断、位运算）的快速协议，实现在 GOD。
• 将 3PC 框架扩展到 4PC，以在提高鲁棒性和性能的同时保持效率。
• 对 PPML 工作负载（Logistic Regression，LeNet，VGG16）进行基准测试，以展示实用性和性能提升。

提出的方法

• 引入 Joint Message Passing (jmp)，一种高效基元，允许两台服务器在发现异常行为时将信息中继给第三方，潜在替代可信第三方（TTP），实现 rate-1 通信。
• 给出对 Z_{2^l}（代数）和 Z_{2^1}（布尔）的秘密共享语义，以及具有线性性质的特性，使局部计算高效。
• 提供鲁棒的 3PC 协议栈，包括 共享、点积、截断、位提取、位到代数、位注入、输入共享和输出重构，全部具有 GOD。
• 将 3PC 基元扩展到 4PC 设置，利用类似的基于 jmp 的方法在不依赖广播通道的情况下提高效率并保持鲁棒性。
• 描述预处理模型优化，其中离线完成与输入无关的工作，以加速 PPML 任务的在线阶段。
• 在 WAN 设置下对 ML 任务（Logistic Regression 训练/推断、LeNet、VGG16）进行基准测试，以证明实用性和相对于同行的性能一致性/优势。

实验结果

研究问题

• RQ1 在诚实多数假设下，SWIFT 是否能在对恶意对手的 3PC/4PC PPML 中提供鲁棒的输出交付 (GOD)？
• RQ2 在保持 GOD 的前提下，3PC 与 4PC SWIFT 协议在通信和轮次复杂度上与现有的公平/鲁棒框架（如 BLAZE、Trident、FLASH）相比如何？
• RQ3 SWIFT 在 WAN 设置下对标准 ML 工作负载（Logistic Regression、LeNet、VGG16）的实际性能影响是什么？
• RQ4 Joint Message Passing 基元是否在多次协议调用中实现摊销、rate-1 的通信？
• RQ5 将 3PC 扩展到 4PC 对 PPML 任务的安全保证和效率有何影响？

主要发现

• 在若干基元上，SWIFT 与最知名的 3PC/4PC 框架相媲美或有所超越，同时将安全性从公平提升至 GOD（鲁棒性）。
• 在 3PC 中，SWIFT 以有竞争力的成本实现 GOD，成为对只在可比设置下提供公平性的 BLAZE 的鲁棒替代方案。
• 在 4PC 中，SWIFT 与 Trident（最知名的公平 4PC）一样快，在若干基元上比 FLASH（鲁棒 4PC）快一倍，显示出在不增加在线阶段开销的情况下具备实际的鲁邦性提升。
• SWIFT 引入一个点积协议，其摊销成本与向量大小无关，并提供快速的输入共享和输出重构阶段，在轮次/通信方面有显著改进。
• 在 Logistic Regression 及神经网络如 LeNet 和 VGG16 的经验基准中，展示了 SWIFT 在 WAN 环境中的实用性，具有改进的安全保证和有利的性能表现。