[论文解读] Fast and Provable ADMM for Learning with Generative Priors

Fabian Latorre Gómez, Armin Eftekhari+1 more|arXiv (Cornell University)|Jul 7, 2019

Sparse and Compressive Sensing Techniques参考文献 60被引用 20

一句话总结

该论文提出了一种快速、可证明收敛的线性化ADMM算法，用于优化具有由深度神经网络（如GAN生成器）定义的非凸生成先验的凸目标函数。通过利用生成器网络的几何特性，该方法实现了加速收敛，并能高效处理非光滑目标函数，在去噪和压缩感知任务中优于梯度下降法，且具有理论保证。

ABSTRACT

In this work, we propose a (linearized) Alternating Direction Method-of-Multipliers (ADMM) algorithm for minimizing a convex function subject to a nonconvex constraint. We focus on the special case where such constraint arises from the specification that a variable should lie in the range of a neural network. This is motivated by recent successful applications of Generative Adversarial Networks (GANs) in tasks like compressive sensing, denoising and robustness against adversarial examples. The derived rates for our algorithm are characterized in terms of certain geometric properties of the generator network, which we show hold for feedforward architectures, under mild assumptions. Unlike gradient descent (GD), it can efficiently handle non-smooth objectives as well as exploit efficient partial minimization procedures, thus being faster in many practical scenarios.

研究动机与目标

• 为解决现有非凸生成先验（来自GAN）优化中缺乏可证明收敛且高效的算法的问题。
• 克服梯度下降在处理ℓ₁或ℓ∞-范数等非光滑目标函数（如去噪）时的局限性。
• 为应用于具有神经网络约束的非凸问题的线性化ADMM框架提供收敛性保证。
• 建立生成器网络的几何条件，以确保快速收敛速率。
• 将理论结果扩展至具有经验风险最小化的统计学习设置，并推导Rademacher复杂度边界。

提出的方法

• 将优化问题表述为在约束 w = G(z) 下最小化凸函数 F(w,z)，其中 G 为可微分的生成器网络。
• 应用线性化ADMM框架以处理非凸约束 w = G(z)，从而实现对 w 和 z 的高效交替最小化。
• 使用近端映射处理非光滑正则化项 R 和 H，确保计算上的可行性。
• 基于 G 的几何特性（如近似等距性和光滑性）推导收敛速率，前提是 L 具有强凸性。
• 通过闭式解精确求解 w 的增广拉格朗日函数，当适用时利用SVD进行矩阵求逆。
• 引入一种原始-对偶更新方案，包含对偶变量更新和自适应步长，确保稳定性和收敛性。

实验结果

研究问题

• RQ1 线性化ADMM算法能否在具有生成先验的非凸优化中实现可证明的快速收敛？
• RQ2 生成器网络 G 的哪些几何特性可确保该框架中的收敛性和快速收敛速率？
• RQ3 在处理ℓ₁和ℓ∞-范数等非光滑目标函数时，所提出的ADMM方法与梯度下降相比表现如何？
• RQ4 该算法能否扩展至具有经验风险的统计学习设置？可推导出何种泛化误差边界？
• RQ5 所提出的ADMM与Bora等人（2017）等现有方法之间存在何种关系？

主要发现

• 在生成器网络的几何假设（如近似等距性和光滑性）较弱的前提下，所提出的线性化ADMM实现了快速收敛速率。
• 该算法可证明收敛至解，其收敛速率与梯度下降相当，但在处理非光滑目标函数时表现更优。
• 在压缩感知和去噪任务中，该方法优于标准梯度下降，尤其在ℓ₁和ℓ∞-范数下，归因于其对非光滑性的有效处理能力。
• 在 L 具有强凸性的前提下建立了理论收敛性，并将结果扩展至受限强凸性，以适用于更广泛的统计学习应用。
• 通过Rademacher复杂度推导出泛化误差边界，量化了使用生成先验进行学习所需的训练样本数量。
• 通过闭式解实现对 w 的精确最小化，并结合深度网络中的高效前向/反向传播，实现了计算效率。