[论文解读] Exact asymptotics for phase retrieval and compressed sensing with random generative priors

Benjamin Aubin, Bruno Loureiro+3 more|arXiv (Cornell University)|Dec 4, 2019

Sparse and Compressive Sensing Techniques参考文献 19被引用 12

一句话总结

本论文通过随机深度生成先验（即权重随机的全连接深度神经网络，激活函数任意）推导了压缩感知与相位检索的精确渐近性能极限。结果表明，尽管稀疏性会导致显著的统计-算法间隙，但深度生成先验可大幅缩小该间隙，使压缩相位检索在接近信息论极限时仍具可计算性。

ABSTRACT

We consider the problem of compressed sensing and of (real-valued) phase retrieval with random measurement matrix. We derive sharp asymptotics for the information-theoretically optimal performance and for the best known polynomial algorithm for an ensemble of generative priors consisting of fully connected deep neural networks with random weight matrices and arbitrary activations. We compare the performance to sparse separable priors and conclude that generative priors might be advantageous in terms of algorithmic performance. In particular, while sparsity does not allow to perform compressive phase retrieval efficiently close to its information-theoretic limit, it is found that under the random generative prior compressed phase retrieval becomes tractable.

研究动机与目标

• 分析在高维极限下，使用随机深度生成先验的压缩感知与相位检索的信息论极限与算法性能极限。
• 比较在逆问题中，生成先验（权重随机的深度神经网络）与稀疏先验之间的统计-算法间隙。
• 推导在随机测量矩阵下，完美信号恢复与高效算法重建的精确渐近阈值。
• 研究网络深度与逐层压缩比对这些逆问题中信号恢复可计算性的影响。

提出的方法

• 采用具有独立同分布高斯权重与任意激活函数的全连接深度神经网络集合作为生成先验。
• 在高维极限下分析，即 $ n, d, k_l \to \infty $，同时保持测量率 $ \alpha = n/d $ 与逐层纵横比 $ \beta_l = k_{l+1}/k_l $ 恒定。
• 应用统计物理中的工具，特别是复制方法，以计算信息论阈值 $ \alpha_{\text{IT}} $ 与算法阈值 $ \alpha_{\text{alg}} $ 的精确渐近表达式。
• 考虑两类逆问题：压缩感知（$ \varphi(x) = x $）与相位检索（$ \varphi(x) = |x| $），二者均被建模为广义线性估计问题。
• 推导相图，展示压缩因子 $ \rho = k/d $、深度 $ L $ 与压缩比 $ \beta_l $ 之间的相互作用，其中 $ \mathbf{z} \sim \mathcal{N}(0, I_k) $，并采用 ReLU/线性激活函数。
• 通过数值分析与解析渐近分析，量化统计-算法间隙 $ \Delta_{\text{alg}} = \alpha_{\text{alg}} - \alpha_{\text{IT}} $ 作为深度与压缩程度的函数。

实验结果

研究问题

• RQ1 在深度生成先验中，信号恢复的信息论阈值 $ \alpha_{\text{IT}} $ 如何随压缩因子 $ \rho $ 与逐层压缩比 $ \beta_l $ 变化？
• RQ2 在使用随机深度生成先验时，压缩感知与相位检索中的统计-算法间隙 $ \Delta_{\text{alg}} $ 的大小如何？
• RQ3 增加网络深度 $ L $ 对算法间隙的影响如何，相较于稀疏先验？
• RQ4 生成先验模型是否允许在接近信息论极限时实现高效恢复，特别是在稀疏性失效的相位检索中？
• RQ5 激活函数的选择（ReLU 与线性）如何影响性能阈值与间隙行为？

主要发现

• 对于权重随机的深度生成先验，信息论阈值 $ \alpha_{\text{IT}} $ 随 $ \beta_l \ll 1 $ 减小而降低，表明更高压缩可提升恢复可行性。
• 算法间隙 $ \Delta_{\text{alg}} $ 随 $ \beta_l $ 减小而增大，但该间隙显著小于稀疏先验，尤其在低 $ \rho $ 时。
• 增加网络深度 $ L $ 会单调减小算法间隙 $ \Delta_{\text{alg}} $，即使在固定 $ \beta = 2 $ 时，间隙也随深度增加而缩小。
• 与稀疏先验在相位检索中表现出显著算法间隙不同，深度生成先验使压缩相位检索在接近信息论极限时仍具可计算性。
• 当 $ \rho < 0.5 $ 时，$ \alpha_{\text{IT}} $ 随 $ \beta_l \ll 1 $ 减小而降低，但算法间隙增大，体现出压缩与算法效率之间的权衡。
• 结果对任意激活函数与独立同分布高斯权重矩阵均成立，ReLU 与线性激活函数作为数值相图中的具体示例。