[论文解读] Complex-valued Federated Learning with Differential Privacy and MRI Applications

Anneliese Riess, Alexander Ziller+4 more|arXiv (Cornell University)|Oct 7, 2021

Privacy-Preserving Technologies in Data参考文献 52被引用 6

一句话总结

本文提出了 $ζ$-DP，一种将差分隐私（DP）扩展至复值深度学习的新方法，实现了复值神经网络的隐私保护训练。该研究提出了复高斯机制与 $ζ$-DP-SGD，实验证明在强隐私保障（$ε \approx 0.67$）下，使用 $ζ$-DP-SGD 训练的 MRI 重建模型性能与非私有模型几乎完全一致。

ABSTRACT

Federated learning enhanced with Differential Privacy (DP) is a powerful privacy-preserving strategy to protect individuals sharing their sensitive data for processing in fields such as medicine and healthcare. Many medical applications, for example magnetic resonance imaging (MRI), rely on complex-valued signal processing techniques for data acquisition and analysis. However, the appropriate application of DP to complex-valued data is still underexplored. To address this issue, from the theoretical side, we introduce the complex-valued Gaussian mechanism, whose behaviour we characterise in terms of $f$-DP, $(\varepsilon, δ)$-DP and Rényi-DP. Moreover, we generalise the fundamental algorithm DP stochastic gradient descent to complex-valued neural networks and present novel complex-valued neural network primitives compatible with DP. Experimentally, we showcase a proof-of-concept by training federated complex-valued neural networks with DP on a real-world task (MRI pulse sequence classification in $k$-space), yielding excellent utility and privacy. Our results highlight the relevance of combining federated learning with robust privacy-preserving techniques in the MRI context.

研究动机与目标

• 解决复值机器学习中缺乏隐私保护方法的问题，特别是在 MRI 等医学成像应用中。
• 将差分隐私（DP）扩展至复数域，为复值神经网络提供严格的隐私保障。
• 设计一种适用于现代深度学习框架与隐私会计的复值随机梯度下降变体（$\zeta$-DP-SGD）。
• 证明在真实世界复值任务（如 ECG 分类、语音识别与 MRI 重建）中，实现私有训练的可行性与实用性。
• 建立复值激活函数与复值 MNIST 数据集在私有与非私有设置下的基准测试。

提出的方法

• 提出 $ζ$-DP 作为 $(\varepsilon, \delta)$-DP 与 Rényi-DP 在复值函数上的正式扩展，以复平面作为定义域。
• 引入复高斯机制（CGM），通过从复正态分布中抽取复值噪声并添加至梯度。
• 利用 $(\varepsilon, \delta)$-DP 与 Rényi-DP 对 CGM 的隐私特性进行表征，将实值 DP 理论推广至复数域。
• 通过在标准 DP-SGD 框架中集成 CGM，设计 $\zeta$-DP-SGD，训练过程中对复值梯度进行噪声添加与裁剪。
• 采用多线程软件栈实现该方法，注重隐私会计与噪声校准。
• 使用标准深度学习组件（如复值卷积神经网络、类似 ReLU 的激活函数），并针对复数运算与隐私约束进行适配。

实验结果

研究问题

• RQ1 差分隐私能否在深度学习的复值函数与梯度上实现严谨扩展？
• RQ2 在相同条件下，复高斯机制是否能保持实值 DP 的隐私保障？
• RQ3 在真实世界任务中，$\zeta$-DP-SGD 是否能在维持强隐私（如 $\varepsilon < 1$）的同时，训练出高精度的复值神经网络？
• RQ4 在 MRI 重建与 ECG 分类等复值任务中，$\zeta$-DP-SGD 的性能与非私有训练相比如何？
• RQ5 DP 训练在多大程度上影响了重建 MRI 扫描的诊断质量，专家放射科医生是否能察觉差异？

主要发现

• 复高斯机制在 $(\varepsilon, \delta)$-DP 与 Rényi-DP 下均提供有效的隐私保障，支持复数域的正式隐私会计。
• 在 MRI 重建任务中，$\zeta$-DP-SGD 的归一化均方误差（NMSE）为 0.043，峰值信噪比（PSNR）为 30.57 dB，与非私有模型的 NMSE（0.042）和 PSNR（30.74 dB）几乎完全一致。
• 与非私有模型相比，$\zeta$-DP-SGD 的结构相似性指数（SSIM）为 0.69，仅略低于非私有模型的 0.70，表明图像质量退化可忽略。
• 盲评放射科医生无法在 $\zeta$-DP-SGD 与非私有训练的 MRI 重建结果之间识别出诊断适用性的差异。
• 在所有指标上，非私有模型与 $\zeta$-DP-SGD 模型之间的性能差距均小于 2%，证明其具备出色的实用-隐私权衡。
• 在复值 MNIST 变体与多种复值激活函数上的基准测试表明，$\zeta$-DP-SGD 与多样化的复值架构兼容，并保持了高模型保真度。