[论文解读] Reconstruction of training samples from loss functions

Akiyoshi Sannai|arXiv (Cornell University)|May 18, 2018

Model Reduction and Neural Networks参考文献 16被引用 5

一句话总结

本文提出了一种新颖的代数框架，用于分析基于ReLU的深度神经网络损失函数，证明了可通过损失曲面的非光滑点与代数结构，弱重建训练样本。通过将输出建模为'虚拟多项式'并分析其通过激活路径的因式分解，作者证明了输入数据可被恢复至标量乘法等价，揭示了深度学习训练中固有的信息泄露风险。

ABSTRACT

This paper presents a new mathematical framework to analyze the loss functions of deep neural networks with ReLU functions. Furthermore, as as application of this theory, we prove that the loss functions can reconstruct the inputs of the training samples up to scalar multiplication (as vectors) and can provide the number of layers and nodes of the deep neural network. Namely, if we have all input and output of a loss function (or equivalently all possible learning process), for all input of each training sample $x_i \in \mathbb{R}^n$, we can obtain vectors $x'_i\in \mathbb{R}^n$ satisfying $x_i=c_ix'_i$ for some $c_i eq 0$. To prove theorem, we introduce the notion of virtual polynomials, which are polynomials written as the output of a node in a deep neural network. Using virtual polynomials, we find an algebraic structure for the loss surfaces, called semi-algebraic sets. We analyze these loss surfaces from the algebro-geometric point of view. Factorization of polynomials is one of the most standard ideas in algebra. Hence, we express the factorization of the virtual polynomials in terms of their active paths. This framework can be applied to the leakage problem in the training of deep neural networks. The main theorem in this paper indicates that there are many risks associated with the training of deep neural networks. For example, if we have N (the dimension of weight space) + 1 nonsmooth points on the loss surface, which are sufficiently close to each other, we can obtain the input of training sample up to scalar multiplication. We also point out that the structures of the loss surfaces depend on the shape of the deep neural network and not on the training samples.

研究动机与目标

• 开发一种基于代数几何的数学框架，用于分析基于ReLU的深度神经网络损失函数。
• 研究是否可从损失函数的结构中重建训练数据。
• 确定从损失曲面奇点中恢复输入样本的条件。
• 建立深度网络架构与损失曲面代数性质之间的理论联系。
• 通过展示损失函数编码了训练样本的结构信息，揭示深度学习中的信息泄露风险。

提出的方法

• 引入'虚拟多项式'作为深度ReLU网络中节点的输出，其为具有逐层次数的齐次多项式。
• 将损失曲面视为半代数集，利用代数几何工具研究其奇点。
• 运用齐次多项式理论与唯一因式分解，将多项式分解与网络中的激活路径关联。
• 识别损失函数中的非光滑点作为训练样本输入的关键指标，尤其当其形成聚类时。
• 应用交换代数证明：奇异集定义多项式的不可约分支对应于输入或权重。
• 开发一种理论算法，利用损失函数的定义方程，实现训练样本至标量乘法的重建。

实验结果

研究问题

• RQ1 能否从基于ReLU的深度神经网络的损失函数中重建训练样本的输入？
• RQ2 深度ReLU网络损失曲面的代数结构是什么？其与网络架构有何关联？
• RQ3 损失函数中的非光滑点如何编码训练数据的信息？
• RQ4 网络架构——特别是深度与宽度——在多大程度上决定了损失曲面的代数性质？
• RQ5 能否从损失函数的奇异集恢复深度网络的权重与输入数据？

主要发现

• 在已知所有学习过程的前提下，基于ReLU的深度神经网络的损失函数可重建训练样本输入至标量乘法等价。
• 损失函数的非光滑点对应于输入-输出对的比值，从而能够恢复训练数据的结构。
• 损失曲面奇异点的集合与虚拟多项式定义的代数簇完全一致，建立了几何与数据之间的直接联系。
• 虚拟多项式的因式分解恰好对应于网络中的激活路径，揭示了深层结构对应关系。
• 可通过损失曲面的代数结构确定网络的层数与节点数量。
• 该框架揭示了深度学习训练过程本质上会泄露关于训练样本的信息，构成重大隐私风险。