[论文解读] Differentially Private CutMix for Split Learning with Vision Transformer

Seungeun Oh, Jihong Park+6 more|arXiv (Cornell University)|Oct 28, 2022

Privacy-Preserving Technologies in Data被引用 4

一句话总结

该论文提出了一种用于视觉Transformer（ViT）的差分隐私分割学习框架DP-CutMixSL，通过在图像块级别应用随机化CutMix操作，提升隐私保护和通信效率。通过向压缩数据中注入高斯噪声并替换随机图像块，该方法在准确率和更紧致的隐私保证方面优于DP-SL和DP-MixSL，理论分析表明CutMix操作可实现更强的Rényi差分隐私（RDP）放大效果。

ABSTRACT

Recently, vision transformer (ViT) has started to outpace the conventional CNN in computer vision tasks. Considering privacy-preserving distributed learning with ViT, federated learning (FL) communicates models, which becomes ill-suited due to ViT' s large model size and computing costs. Split learning (SL) detours this by communicating smashed data at a cut-layer, yet suffers from data privacy leakage and large communication costs caused by high similarity between ViT' s smashed data and input data. Motivated by this problem, we propose DP-CutMixSL, a differentially private (DP) SL framework by developing DP patch-level randomized CutMix (DP-CutMix), a novel privacy-preserving inter-client interpolation scheme that replaces randomly selected patches in smashed data. By experiment, we show that DP-CutMixSL not only boosts privacy guarantees and communication efficiency, but also achieves higher accuracy than its Vanilla SL counterpart. Theoretically, we analyze that DP-CutMix amplifies Rényi DP (RDP), which is upper-bounded by its Vanilla Mixup counterpart.

研究动机与目标

• 解决视觉Transformer（ViT）在分割学习中因压缩数据与原始输入高度相似而导致的隐私和通信效率低下问题。
• 克服标准联邦学习（FL）在大规模ViT模型上应用时因通信和能耗成本过高而带来的局限性。
• 为ViT的图像块架构设计一种隐私保护型客户端间插值机制。
• 理论上分析并证明通过新型图像块级别随机化CutMix操作，可实现更优的差分隐私（DP）保证。
• 与现有DP-SL和DP-MixSL基线方法相比，实现更优的准确率-隐私权衡。

提出的方法

• 提出DP-CutMixSL，一种基于图像块级别随机化CutMix的差分隐私分割学习框架，适用于视觉Transformer（ViT）。
• 应用高斯机制向压缩数据中注入噪声，以确保差分隐私。
• 使用随机二进制序列对压缩数据中选定的图像块进行掩码，生成Cutout压缩数据。
• 通过狄利克雷多项式分布生成混合比率，以控制客户端间图像块的替换比例。
• 将多个客户端的Cutout数据合并为DP-CutMix压缩数据，用于前向传播。
• 理论上界定了该方法的Rényi差分隐私（RDP）边界，表明CutMix操作可实现隐私放大效果。

实验结果

研究问题

• RQ1 与标准DP-SL相比，图像块级别的随机化CutMix是否能提升视觉Transformer在分割学习中的隐私保证？
• RQ2 所提出的DP-CutMixSL框架如何影响基于ViT的分割学习中的准确率-隐私权衡？
• RQ3 在ViT中，使用图像块级别的插值是否在客户端间数据混合中优于基于边界框或全局Mixup的方法？
• RQ4 在ViT分割学习背景下，CutMix操作在多大程度上实现了差分隐私的放大？
• RQ5 混合组大小如何影响DP-CutMixSL中的隐私（ε）和模型准确率？

主要发现

• 在CIFAR-10数据集上，DP-CutMixSL在ViT-Tiny模型上实现了最高的top-1准确率（73.77%），优于DP-SL和DP-MixSL。
• 在噪声方差为16/255时，DP-CutMixSL的准确率略低于DP-MixSL，但保持了更紧致的RDP边界。
• 该方法的Rényi差分隐私（RDP）边界比DP-SL更紧，表明实现了更强的隐私放大效果。
• 随着混合组大小的增加，隐私（ε）和准确率均下降，体现了“藏身于人群之中”的隐私保护效应与信息损失之间的权衡。
• CutMixSL在2至10个客户端范围内保持可扩展性，准确率随客户端数量增加而提升，且在结合SplitFed的权重平均机制后进一步改善。
• 所提出的图像块级别CutMix在ViT中比基于边界框的Vanilla CutMix更有效，PiT-Tiny模型上准确率达到71.26%，而Vanilla CutMix仅为58.21%。