[论文解读] Inverting Deep Generative models, One layer at a time

Qi Lei, Ajil Jalal+2 more|arXiv (Cornell University)|Jun 18, 2019

Generative Adversarial Networks and Image Synthesis参考文献 24被引用 5

一句话总结

该论文提出了一种新颖的逐层线性规划方法，用于反转具有ReLU激活函数的深度生成模型，在恒定扩展和随机权重条件下，能够在多项式时间内实现潜在码的精确恢复。该研究证明了多层反演的NP难性，并为噪声观测建立了可证明的误差界，在高维设置下优于梯度下降法。

ABSTRACT

We study the problem of inverting a deep generative model with ReLU activations. Inversion corresponds to finding a latent code vector that explains observed measurements as much as possible. In most prior works this is performed by attempting to solve a non-convex optimization problem involving the generator. In this paper we obtain several novel theoretical results for the inversion problem. We show that for the realizable case, single layer inversion can be performed exactly in polynomial time, by solving a linear program. Further, we show that for multiple layers, inversion is NP-hard and the pre-image set can be non-convex. For generative models of arbitrary depth, we show that exact recovery is possible in polynomial time with high probability, if the layers are expanding and the weights are randomly selected. Very recent work analyzed the same problem for gradient descent inversion. Their analysis requires significantly higher expansion (logarithmic in the latent dimension) while our proposed algorithm can provably reconstruct even with constant factor expansion. We also provide provable error bounds for different norms for reconstructing noisy observations. Our empirical validation demonstrates that we obtain better reconstructions when the latent dimension is large.

研究动机与目标

• 为解决具有ReLU激活函数的深度生成模型反演问题，寻找能解释观测测量结果的潜在码。
• 克服基于梯度的优化方法可能无法收敛或陷入局部极小值的局限性。
• 在实际条件（如网络扩展和随机权重）下，提供精确与近似反演的理论保证。
• 展示在潜在维数较大时，该方法在经验性能上优于梯度下降法。

提出的方法

• 通过利用ReLU网络的分段线性结构，逐层使用线性规划进行反演。
• 对于单层网络，将精确反演重新表述为线性规划问题，可在多项式时间内求解。
• 对于深层网络，该方法依赖于迭代线性规划来重建每一层，假设具备足够的扩展性和随机权重。
• 采用ℓ₁和ℓ∞范数进行误差界分析，相比ℓ₂范数提供更紧密的控制。
• 在随机权重矩阵和恒定扩展因子下，建立了理论恢复保证。
• 通过MNIST和合成数据对方法与梯度下降法进行经验验证，评估重建精度和成功率。

实验结果

研究问题

• RQ1 对于单层网络，具有ReLU激活函数的深度生成模型能否在多项式时间内实现精确反演？
• RQ2 多层反演是否为NP难问题？潜在空间中的预像集是否可能非凸？
• RQ3 在随机权重和恒定扩展因子条件下，任意深度网络的精确恢复在何种条件下可被保证？
• RQ4 噪声观测的误差界如何依赖于ℓ₁和ℓ∞范数的选择？
• RQ5 在高维潜在空间中，所提方法能否优于梯度下降法？

主要发现

• 具有ReLU激活函数的单层反演等价于求解线性规划问题，可在多项式时间内完成。
• 多层反演为NP难问题，且潜在空间中的预像集可能非凸。
• 对于具有恒定因子扩展和随机权重的任意深度网络，可在高概率下以多项式时间实现精确恢复。
• 所提方法每层仅需恒定扩展，而先前基于梯度下降的方法在潜在维数上需要对数扩展。
• 实验结果表明，该方法在输入维数k=109以内达到100%成功率，而梯度下降法在k≥60时即失效。
• 在MNIST实验中，ℓ∞-范数线性规划方法生成的重建结果比梯度下降法更接近真实值，尤其在存在噪声和遮挡时表现更优。