[论文解读] Binarizing Split Learning for Data Privacy Enhancement and Computation Reduction

Ngoc Duy Pham, Alsharif Abuadbba+3 more|arXiv (Cornell University)|Jun 10, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出二值化拆分学习（B-SL），一种通过二值化拆分学习中的本地层来显著降低计算与内存消耗的方法，实现高达17.5倍的推理速度提升和32倍的带宽减少，同时增强数据隐私。B-SL减少了从压缩特征图中泄露的信息，并结合泄露损失与差分隐私，提供更强的隐私保障，实现高达50%的SSIM泄露降低，并能有效防御特征空间劫持攻击。

ABSTRACT

Split learning (SL) enables data privacy preservation by allowing clients to collaboratively train a deep learning model with the server without sharing raw data. However, SL still has limitations such as potential data privacy leakage and high computation at clients. In this study, we propose to binarize the SL local layers for faster computation (up to 17.5 times less forward-propagation time in both training and inference phases on mobile devices) and reduced memory usage (up to 32 times less memory and bandwidth requirements). More importantly, the binarized SL (B-SL) model can reduce privacy leakage from SL smashed data with merely a small degradation in model accuracy. To further enhance the privacy preservation, we also propose two novel approaches: 1) training with additional local leak loss and 2) applying differential privacy, which could be integrated separately or concurrently into the B-SL model. Experimental results with different datasets have affirmed the advantages of the B-SL models compared with several benchmark models. The effectiveness of B-SL models against feature-space hijacking attack (FSHA) is also illustrated. Our results have demonstrated B-SL models are promising for lightweight IoT/mobile applications with high privacy-preservation requirements such as mobile healthcare applications.

研究动机与目标

• 解决资源受限的移动与物联网设备在拆分学习中面临的高计算与内存开销问题。
• 降低在拆分学习中因共享压缩特征图而产生的数据隐私泄露，尤其针对时间序列和ECG等敏感数据。
• 通过结合二值化与新型泄露抑制技术，在不显著降低准确率的前提下增强隐私保护能力。
• 将差分隐私集成到二值化模型中，实现最小准确率损失的可证明隐私保障。
• 评估B-SL在特征空间劫持攻击（FSHA）下的鲁棒性，并在真实场景中验证其有效性。

提出的方法

• 仅对拆分学习中的本地客户端侧层进行二值化，保留服务器端全精度，以加速前向与反向传播。
• 采用混合训练策略，其中本地二值化层通过一种新型本地泄露损失进行训练，以最小化特征图中的信息泄露。
• 通过随机响应机制集成差分隐私，向二值化激活注入受控噪声，确保ε-差分隐私。
• 采用两部分模型架构：客户端处理前几层（二值化），服务器处理剩余层（全精度），实现隐私保护协作。
• 利用SSIM与KL散度指标定量评估隐私泄露，将B-SL与标准SL及其他基线方法进行对比。
• 在MNIST、CIFAR-10等数据集上开展端到端评估，通过FSHA测试重建抵抗能力与模型鲁棒性。

Figure 1: Visual invertibility of a typical CNN under SL setting. The feature maps show images visually plotted from a channel in the first convolution and subsampling layers.

实验结果

研究问题

• RQ1 在不牺牲模型准确率的前提下，对拆分学习中的本地层进行二值化，是否能显著降低移动与物联网设备上的计算与内存消耗？
• RQ2 二值化在多大程度上减少了拆分学习中因共享压缩特征图而产生的隐私泄露，尤其是在特征空间劫持攻击下？
• RQ3 所提出的本地泄露损失在二值化基础上是否能进一步有效减少信息泄露？
• RQ4 差分隐私能否有效集成到二值化拆分学习中，实现最小准确率损失的可证明隐私保障？
• RQ5 在数据重建攻击（如FSHA）下，B-SL相较于标准拆分学习在重建质量与分类准确率方面表现如何？

主要发现

• 在移动设备上，B-SL在训练与推理阶段的前向传播时间相比标准拆分学习最高可提升17.5倍。
• 由于本地激活与模型权重的二值化，内存与带宽使用最高降低32倍。
• 与标准拆分学习相比，B-SL在SSIM指标上隐私泄露最高降低50%，尤其在结合本地泄露损失时效果更显著。
• 在特征空间劫持攻击（FSHA）下，B-SL在split 1上的重建准确率为10%，split 2为64%，而标准SL分别为71%与96%，表明其具备更强的抗性。
• 即使在FSHA攻击下，B-SL在MNIST上的分类准确率仍保持在94–95%，而SL下降至97–98%，显示B-SL在更高准确率下降下仍具备强韧性。
• 通过随机响应机制集成差分隐私，实现了ε-差分隐私，且准确率损失极小，从而提供可证明的隐私保障。

Figure 2: Visual invertibility of [ 16 ] and [ 18 ] approaches from our experiments. The top row, from left to right, shows the visually plotted images from activations of a convolution layer using Dropping activation outputs with $p$ set to $0$ , $5$ , and $9$ [ 16 ] . The bottom row shows the reco