[论文解读] CryptoNAS: Private Inference on a ReLU Budget

Zahra Ghodsi, Akshaj Kumar Veldanda+2 more|arXiv (Cornell University)|Jun 15, 2020

Cryptography and Data Security参考文献 28被引用 31

一句话总结

CryptoNAS 自动搜索为私有推理优化的 CNN 架构，通过约束 ReLU 预算，将 ReLU 视为私有推理中的主要延迟瓶颈，并在实现比现有 PI 方法更高的准确性和更低延迟。

ABSTRACT

Machine learning as a service has given raise to privacy concerns surrounding clients' data and providers' models and has catalyzed research in private inference (PI): methods to process inferences without disclosing inputs. Recently, researchers have adapted cryptographic techniques to show PI is possible, however all solutions increase inference latency beyond practical limits. This paper makes the observation that existing models are ill-suited for PI and proposes a novel NAS method, named CryptoNAS, for finding and tailoring models to the needs of PI. The key insight is that in PI operator latency cost are non-linear operations (e.g., ReLU) dominate latency, while linear layers become effectively free. We develop the idea of a ReLU budget as a proxy for inference latency and use CryptoNAS to build models that maximize accuracy within a given budget. CryptoNAS improves accuracy by 3.4% and latency by 2.4x over the state-of-the-art.

研究动机与目标

• 将私有推理作为一种隐私保护服务并结合密码学协议来实现。
• 确定 ReLU 操作是 PI 中的主延迟瓶颈，并将 ReLU 预算定义为延迟代理。
• 开发 NAS 技术，在固定的 ReLU 预算下最大化准确性。
• 提出 ReLU 约简与 ReLU 平衡以创建 ReLU 高效的网络。
• 创建 CryptoNAS，作为一个解耦的搜索框架，以高效发现 PI 优化架构。

提出的方法

• 将 ReLU 预算定义为 PI 延迟代理，其中非线性 ReLUs 主导成本。
• 开发 ReLU 约减 技术：ReLU 剪枝和 ReLU 洗牌以降低 ReLU 数量。
• 提出 ReLU 平衡，在预算下最大化每个 ReLU 的模型容量。
• 使用 CryptoNAS 与 ENAS 宏搜索进行跳跃连接，同时将核心网络规模（在预算内）与跳跃放置解耦。
• 扩展 MiniONN 以支持在私有推理中跳跃连接。
• 将搜索分解为在预算内的核心网络优化和跳跃放置优化。

实验结果

研究问题

• RQ1 如何通过约束非线性 ReLU 操作来定制神经网络架构以适应私有推理？
• RQ2 在 PI 模型中有哪些在不牺牲准确性的情况下降低 ReLU 数量的有效技术？
• RQ3 在固定 ReLU 预算下，解耦 NAS 搜索是否能够高效找到高准确度的模型？
• RQ4 在 PI 约束下，ReLU 平衡与基于 FLOP 的或通道平衡缩放相比有何差异？
• RQ5 当最小化 ReLUs 以用于 PI 时，跳跃连接是否仍然有利？

主要发现

• CryptoNAS 在 CIFAR-10/100 上实现了比最先进的 PI 方法更高的准确性和更低的延迟。
• ReLU 剪枝将 ReLU 数量减少约 5.8×，准确度下降极小。
• ReLU 洗牌在某些模型中将 ReLU 数量减少至约 ~1.9×，且不损失准确度。
• ReLU 平衡在预算较小时，在每个 ReLU 的模型容量最大化方面相对于 FLOP 平衡基线在 CIFAR-100 上带来最高可达 3.75% 的准确性提升。
• Networks discovered by CryptoNAS outperform prior PI methods on the accuracy-latency Pareto frontier, e.g., on CIFAR-10 and CIFAR-100 across multiple depths.
• CryptoNAS runs efficiently by decoupling core network optimization from skip-placement search, requiring only a single ENAS run per budget to generate Pareto-front models.