[论文解读] Global Guarantees for Blind Demodulation with Generative Priors

Paul Hand, Babhru Joshi|arXiv (Cornell University)|Jan 1, 2019

Sparse and Compressive Sensing Techniques被引用 9

一句话总结

本文提出了一种基于深度学习的盲解调方法，利用生成先验，表明当未知信号位于扩展型生成模型的范围内时，经验风险目标函数的优化景观具有有利特性，仅有四条双曲曲线作为临界点。它证明了通过利用这些曲线的独特结构，梯度下降可以收敛至全局最小值，成功地从MNIST图像中去除了合成失真。

ABSTRACT

We study a deep learning inspired formulation for the blind demodulation problem, which is the task of recovering two unknown vectors from their entrywise multiplication. We consider the case where the unknown vectors are in the range of known deep generative models, $\mathcal{G}^{(1)}:\mathbb{R}^n ightarrow\mathbb{R}^\ell$ and $\mathcal{G}^{(2)}:\mathbb{R}^p ightarrow\mathbb{R}^\ell$. In the case when the networks corresponding to the generative models are expansive, the weight matrices are random and the dimension of the unknown vectors satisfy $\ell = \Omega(n^2+p^2)$, up to log factors, we show that the empirical risk objective has a favorable landscape for optimization. That is, the objective function has a descent direction at every point outside of a small neighborhood around four hyperbolic curves. We also characterize the local maximizers of the empirical risk objective and, hence, show that there does not exist any other stationary points outside of these neighborhood around four hyperbolic curves and the set of local maximizers. We also implement a gradient descent scheme inspired by the geometry of the landscape of the objective function. In order to converge to a global minimizer, this gradient descent scheme exploits the fact that exactly one of the hyperbolic curve corresponds to the global minimizer, and thus points near this hyperbolic curve have a lower objective value than points close to the other spurious hyperbolic curves. We show that this gradient descent scheme can effectively remove distortions synthetically introduced to the MNIST dataset.

研究动机与目标

• 为解决从其逐元素乘积中恢复两个未知向量的盲解调问题，利用深度生成先验。
• 分析在生成模型约束下经验风险目标函数的优化景观。
• 建立目标函数除靠近四条双曲曲线外无虚假局部最小值的条件。
• 设计一种梯度下降方案，通过区分真实解与虚假临界点，收敛至全局最小值。
• 在MNIST数据集的合成失真上验证该方法。

提出的方法

• 将盲解调建模为两个深度生成模型 G^(1): R^n → R^ℓ 和 G^(2): R^p → R^ℓ 的潜在码上的优化问题。
• 假设网络为扩展型，权重矩阵为随机矩阵，并满足 ℓ = Ω(n² + p²)（对数因子范围内），以确保有利的景观特性。
• 分析经验风险目标函数，并证明在四条双曲曲线邻域外的所有点上均存在下降方向。
• 识别出目标函数的局部最大值点，并表明它们是除四条双曲曲线外唯一的其他驻点。
• 提出一种梯度下降方案，利用四条双曲曲线中仅有一条对应全局最小值的特性。
• 利用四条曲线邻域间的目标函数值差异，引导收敛至真实解。

实验结果

研究问题

• RQ1 在何种生成模型和信号维度条件下，经验风险目标函数具有有利的优化景观？
• RQ2 在具有生成先验的盲解调设置中，经验风险目标函数的临界点结构如何？
• RQ3 尽管存在虚假临界点，梯度下降是否仍能收敛至全局最小值？
• RQ4 如何利用目标函数景观的几何结构来区分真实解与虚假解？
• RQ5 所提出的方法能否有效去除真实世界数据（如MNIST）中的合成失真？

主要发现

• 在四条双曲曲线邻域外的所有点上，经验风险目标函数均存在下降方向，确保其他位置不存在虚假局部最小值。
• 目标函数的唯一驻点为靠近四条双曲曲线的点以及显式表征的局部最大值点集。
• 四条双曲曲线中恰好有一条对应全局最小值，使得梯度下降可通过利用目标函数值差异收敛至正确解。
• 所提出的梯度下降方案成功去除了MNIST数据集中人为引入的失真，展示了实际有效性。
• 当生成模型为扩展型、权重为随机且信号维度 ℓ 满足 ℓ = Ω(n² + p²)（对数因子范围内）时，有利的优化景观可被保证。