[论文解读] Improved Differentially Private Decentralized Source Separation for fMRI Data

Hafiz Imtiaz, Jafar Mohammadi+5 more|arXiv (Cornell University)|Oct 28, 2019

Indoor and Outdoor Localization Technologies参考文献 77被引用 5

一句话总结

本文提出了一种新颖的差分隐私去中心化算法 capeDJICA，用于功能磁共振成像（fMRI）数据中的独立成分分析（ICA）。通过在各站点之间使用相关噪声以减少总体噪声注入，该方法显著改善了隐私-效用权衡——在合成和真实fMRI数据集上，即使在强隐私保证（ε < 1）下，其性能也接近非私有的ICA。

ABSTRACT

Blind source separation algorithms such as independent component analysis (ICA) are widely used in the analysis of neuroimaging data. In order to leverage larger sample sizes, different data holders/sites may wish to collaboratively learn feature representations. However, such datasets are often privacy-sensitive, precluding centralized analyses that pool the data at a single site. In this work, we propose a differentially private algorithm for performing ICA in a decentralized data setting. Conventional approaches to decentralized differentially private algorithms may introduce too much noise due to the typically small sample sizes at each site. We propose a novel protocol that uses correlated noise to remedy this problem. We show that our algorithm outperforms existing approaches on synthetic and real neuroimaging datasets and demonstrate that it can sometimes reach the same level of utility as the corresponding non-private algorithm. This indicates that it is possible to have meaningful utility while preserving privacy.

研究动机与目标

• 解决在去中心化环境中协作进行fMRI源分离的同时保护个体隐私的挑战。
• 克服传统去中心化差分隐私算法中噪声负担过重的问题，尤其是在局部样本量较小时。
• 开发一种隐私保护框架，在不集中数据池的情况下保持神经影像应用的高效用。
• 在敏感健康数据的去中心化机器学习中实现有意义的隐私-效用权衡。

提出的方法

• 提出一种新颖的去中心化差分隐私框架 CAPE（Correlated Additive Privacy for Estimation），通过在各站点之间注入相关噪声以减少总噪声方差。
• 将 CAPE 框架适配至去中心化联合 ICA（djICA），从而得到用于 fMRI 数据的所提算法 capeDJICA。
• 采用 Rényi 差分隐私和矩量会计方法，对多次迭代中的隐私损失进行紧密边界控制。
• 提出一种噪声相关策略，使各站点能够共享相关噪声项，从而在不损害隐私的前提下减少实现隐私所需的总体噪声。
• 使用一种改进的 ICA 目标函数，将具有相关结构的隐私保护噪声整合其中，以保持信号完整性。
• 利用 Rényi 差分隐私分析隐私组合，确保在迭代计算下的端到端隐私保证。

实验结果

研究问题

• RQ1 去中心化差分隐私算法是否能在强隐私保证下实现接近非私有 ICA 的效用，用于 fMRI 源分离？
• RQ2 如何在不损害隐私的前提下，通过站点间的相关噪声减少去中心化 DP 算法中的总体噪声注入？
• RQ3 局部样本量和隐私预算（ε）对 fMRI 数据中私有去中心化 ICA 性能有何影响？
• RQ4 所提出的框架是否能在隐私和效用两方面优于现有的本地和传统 DP 方法？
• RQ5 在使用结构化噪声的神经影像去中心化机器学习中，隐私-效用权衡可改善到何种程度？

主要发现

• 所提出的 capeDJICA 算法在严格隐私预算（ε < 1）下，仍能实现与非私有 djICA 几乎无法区分的空间图重建结果。
• capeDJICA 在空间图恢复方面优于本地 DP-ICA 和传统 DP-djICA，后者因噪声过大而无法收敛。
• 在中等样本量（M ≥ 50）下，当 ε 设为 1 或更低时，capeDJICA 的效用可与非私有的 djICA 相当。
• 该算法在保持高效率的同时，实现了较低的整体隐私损失（ε），展示了强大的隐私-效用权衡。
• capeDJICA 重建的空间图在视觉和定量上均接近真实值，尤其在样本量充足或 ε 稍微放宽时表现更优。
• 矩量会计方法实现了更紧密的隐私会计，使在不牺牲效用的前提下可使用更高的隐私预算。