[论文解读] Minimal Model Structure Analysis for Input Reconstruction in Federated Learning

Qian Jia, Hiba Nassar+1 more|arXiv (Cornell University)|Oct 29, 2020

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文对联邦学习中的输入重建进行了理论分析，表明无论网络深度如何，仅使用全连接网络中一个隐藏单元的梯度，即可精确重建单个输入。研究确定了最小的模型架构要求——如隐藏单元数量需超过批量大小，或卷积神经网络中需具备足够的卷积核数量——并引入一种正则化方法以稳定批量重建过程，在MNIST、fMRI和ImageNet数据集上实现了近乎无损的重建结果。

ABSTRACT

\ac{fl} proposed a distributed \ac{ml} framework where every distributed worker owns a complete copy of global model and their own data. The training is occurred locally, which assures no direct transmission of training data. However, the recent work \citep{zhu2019deep} demonstrated that input data from a neural network may be reconstructed only using knowledge of gradients of that network, which completely breached the promise of \ac{fl} and sabotaged the user privacy. In this work, we aim to further explore the theoretical limits of reconstruction, speedup and stabilize the reconstruction procedure. We show that a single input may be reconstructed with the analytical form, regardless of network depth using a fully-connected neural network with one hidden node. Then we generalize this result to a gradient averaged over batches of size $B$. In this case, the full batch can be reconstructed if the number of hidden units exceeds $B$. For a \ac{cnn}, the number of required kernels in convolutional layers is decided by multiple factors, e.g., padding, kernel and stride size, etc. We require the number of kernels $h\geq (\frac{d}{d^{\prime}})^2C$, where we define $d$ as input width, $d^{\prime}$ as output width after convolutional layer, and $C$ as channel number of input. We validate our observation and demonstrate the improvements using bio-medical (fMRI, \ac{wbc}) and benchmark data (MNIST, Kuzushiji-MNIST, CIFAR100, ImageNet and face images).

研究动机与目标

• 研究仅使用梯度信息时，在联邦学习中输入重建的理论极限。
• 识别实现精确或高保真输入重建所需的最小架构要求，例如隐藏单元数量或卷积核数量。
• 通过在迭代优化中引入正则化，提升重建的稳定性和质量，尤其针对大批次输入。
• 在MNIST、fMRI、WBC、CIFAR100和ImageNet等真实数据集上验证理论发现。
• 为实践者在医疗诊断等敏感应用中选择隐私保护型模型架构提供建议。

提出的方法

• 通过求解由梯度导出的线性系统来重建输入，将输入恢复视为一组线性方程组。
• 对于仅含一个隐藏单元的MLP，推导出闭式解析解：$ x_i = \frac{\partial \ell}{\partial w_{1i}^1} / \frac{\partial \ell}{\partial b_1^1} $，从而实现与网络深度无关的无损重建。
• 通过证明隐藏单元数量超过批量大小 $ B $ 时可实现完整批量重建，将结果推广至批量重建。
• 针对CNN，推导出卷积核数量 $ h \geq \left(\frac{d}{d'}\right)^2 C $ 的条件，其中 $ d $ 为输入宽度，$ d' $ 为卷积后的输出宽度，$ C $ 为输入通道数。
• 在迭代优化中提出正交性正则化，以增强高维输入下的数值稳定性和重建保真度。
• 采用基于梯度的迭代优化方法，初始随机猜测，最小化预测梯度与真实梯度之间的L2距离。

实验结果

研究问题

• RQ1 在全连接神经网络中，仅使用梯度信息重建单个输入所需的最小模型结构是什么？
• RQ2 批量大小如何影响联邦学习中输入重建的可行性与质量？
• RQ3 卷积神经网络中的哪些架构约束会促进或阻碍输入重建？
• RQ4 正则化能否提升批量重建场景下的数值稳定性和重建质量？
• RQ5 理论预测的最小结构要求在多样化数据集上的实际表现如何？

主要发现

• 仅使用一个隐藏单元的MLP梯度，即可通过闭式解析解实现与网络深度无关的单输入精确重建。
• 对于MLP的批量重建，隐藏单元数量必须超过批量大小 $ B $；当 $ B=4 $ 时，隐藏单元数量等于或超过 $ B $ 即可实现完整重建。
• 引入正交性正则化后，批量重建质量显著提升：L1误差从无正则化时的0.21降至12个卷积核的一层CNN中的0.00019。
• 对于CNN，重建质量随卷积核数量增加而单调提升；12个卷积核时L1误差降至0.04，11个卷积核时为0.042，验证了理论下限。
• 该方法在ImageNet和WBC数据集上实现了近乎无损的重建，每像素平均L1误差低于 $ 1 \times 10^{-8} $，表明实际中可实现精确恢复。
• 即使在大批次大小（如 $ B=100 $）下，理论条件依然成立，且正则化在高维优化中保持了稳定性和保真度。