[论文解读] Privacy-preserving machine learning with tensor networks

Alejandro Pozas-Kerstjens, Senaida Hernández-Santana+5 more|arXiv (Cornell University)|Feb 24, 2022

Quantum many-body systems被引用 5

一句话总结

本文提出张量网络架构，特别是矩阵乘积态（MPS），作为机器学习中传统神经网络的隐私保护替代方案。通过利用一种新型规范形式以消除残余规范自由度，MPS 模型在不牺牲预测性能的前提下实现了稳健的隐私保护，显著降低了攻击者从模型参数中推断出无关训练数据特征的风险。

ABSTRACT

Tensor networks, widely used for providing efficient representations of low-energy states of local quantum many-body systems, have been recently proposed as machine learning architectures which could present advantages with respect to traditional ones. In this work we show that tensor network architectures have especially prospective properties for privacy-preserving machine learning, which is important in tasks such as the processing of medical records. First, we describe a new privacy vulnerability that is present in feedforward neural networks, illustrating it in synthetic and real-world datasets. Then, we develop well-defined conditions to guarantee robustness to such vulnerability, which involve the characterization of models equivalent under gauge symmetry. We rigorously prove that such conditions are satisfied by tensor-network architectures. In doing so, we define a novel canonical form for matrix product states, which has a high degree of regularity and fixes the residual gauge that is left in the canonical forms based on singular value decompositions. We supplement the analytical findings with practical examples where matrix product states are trained on datasets of medical records, which show large reductions on the probability of an attacker extracting information about the training dataset from the model's parameters. Given the growing expertise in training tensor-network architectures, these results imply that one may not have to be forced to make a choice between accuracy in prediction and ensuring the privacy of the information processed.

研究动机与目标

• 识别并分析前馈神经网络中一种新的隐私漏洞，即攻击者可能从模型参数中推断出无关的训练数据特征。
• 基于规范对称性和模型等价性，建立对这类隐私泄露具有鲁棒性的正式条件。
• 证明张量网络架构，特别是矩阵乘积态（MPS），本质上满足这些隐私保护条件。
• 提出一种新的 MPS 规范形式，以消除残余规范自由度，增强参数化的规则性与隐私性。
• 通过真实医疗数据集的实证验证，证明 MPS 相较于标准神经网络在隐私保护方面的优势。

提出的方法

• 作者识别出神经网络中因参数更新而无意中编码了无关数据特征（如非预测性变量中的类别不平衡）所导致的隐私漏洞。
• 基于规范对称性下模型等价参数集的表征，形式化了隐私鲁棒性的条件，确保参数变化不会暴露训练数据的结构。
• 构建了一种新型的矩阵乘积态规范形式，完全固定了所有残余规范自由度——与 SVD 基规范形式相比，后者仍存在部分模糊性。
• 该方法涉及在医疗数据集上训练 MPS 模型，采用一种噪声编码方案处理分类输入，与神经网络中标准的独热编码方式不同。
• 对神经网络和 MPS 模型均实施白盒影子攻击：对于神经网络，使用逻辑回归模型在展平的权重上进行训练；对于 MPS，使用深层前馈网络在归一化模型参数上进行训练，以预测无关特征的多数类别。
• 实验在 200 个数据集上使用 20,000 个训练好的模型进行，其中无关特征中多数类别的比例各不相同，80 个数据集提供给攻击者用于训练，20 个用于测试。

实验结果

研究问题

• RQ1 标准前馈神经网络的参数中，能否推断出无关的训练数据特征（如非预测性变量中的类别不平衡）？
• RQ2 何种数学条件可确保模型参数不泄露关于无关训练数据特征的信息？
• RQ3 张量网络架构（如矩阵乘积态）是否本质上满足这些隐私保护条件？
• RQ4 能否构建一种新的 MPS 规范形式，以消除残余规范自由度并增强隐私性？
• RQ5 与标准神经网络相比，MPS 模型在多大程度上降低了影子攻击的成功率？

主要发现

• 所提出的矩阵乘积态规范形式完全消除了所有残余规范自由度，其参数化形式比基于 SVD 的形式更具规则性与隐私保护性。
• 即使在实验中采用基于 SVD 的规范形式，MPS 模型在影子攻击中的成功率也显著低于标准神经网络。
• 实验结果表明，针对神经网络推断无关特征不平衡的攻击成功率较高，而 MPS 模型则显著降低了此类信息泄露。
• 结果表明，MPS 模型对试图从模型参数中提取无关训练数据特征信息的白盒攻击具有鲁棒性。
• 本研究证明，隐私保护与预测准确性在张量网络模型中并非相互排斥，因为隐私机制并未降低模型性能。
• 研究结果表明，张量网络为差分隐私提供了一种数学基础更扎实的替代方案，通过结构不变性实现隐私保护，而非通过注入噪声。