[论文解读] Deep S$^3$PR: Simultaneous Source Separation and Phase Retrieval Using Deep Generative Models

Christopher A. Metzler, Gordon Wetzstein|arXiv (Cornell University)|Feb 13, 2020

Underwater Acoustics Research被引用 4

一句话总结

本论文提出 Deep S³PR，一种新颖方法，通过利用深度生成模型作为先验，解决同时源分离与相位恢复（S³PR）问题。通过将源信号约束在预训练生成器的潜在空间内，该方法通过潜在变量优化高效求解高度欠定且非凸的 S³PR 问题，实现了在高斯、CDP 和傅里叶前向模型下，仅从强度测量中对多张图像的鲁棒重建。

ABSTRACT

This paper introduces and solves the simultaneous source separation and phase retrieval (S$^3$PR) problem. S$^3$PR is an important but largely unsolved problem in a number application domains, including microscopy, wireless communication, and imaging through scattering media, where one has multiple independent coherent sources whose phase is difficult to measure. In general, S$^3$PR is highly under-determined, non-convex, and difficult to solve. In this work, we demonstrate that by restricting the solutions to lie in the range of a deep generative model, we can constrain the search space sufficiently to solve S$^3$PR.

研究动机与目标

• 形式化并求解在散射介质成像和相干显微等应用中高度欠定且非凸的同步源分离与相位恢复（S³PR）问题。
• 解决传统级联方法（先源分离后相位恢复）因不同源的强度分量高度相似而导致的失效问题。
• 证明深度生成模型可提供强大且真实的先验，充分约束解空间，从而实现稳定且精确的 S³PR 恢复。
• 在无需微调的情况下，将解决方案推广至多种前向模型（高斯、CDP、傅里叶）和混合图像数量。
• 为未来在散射介质成像和绕角成像等应用中的物理验证奠定基础。

提出的方法

• 该方法将 S³PR 问题建模为对深度生成模型 G: R^k → R^n（其中 k ≪ n）的潜在码的优化，以重建信号 x_l = G(z_l)。
• 通过在潜在变量 z_1, ..., z_L 上使用交替下降法最小化数据保真度损失 ||y - ∑_l |A G(z_l)|²||²₂ 来求解该问题。
• 对于傅里叶测量，利用帕塞瓦尔定理在傅里叶域中重新表述优化问题，以提升收敛性：||F⁻¹y - ∑_l G(z_l) ⋆ G(z_l)||²₂。
• 该方法利用预训练生成模型（如在 MNIST 和 Fashion-MNIST 上训练的模型）的归纳偏差，对解空间进行正则化，避免陷入局部极小值。
• 该方法对前向模型具有无关性，且在无需架构修改的情况下，可泛化至不同类型的测量（高斯、CDP、傅里叶）。
• 优化过程以随机潜在码初始化，并通过梯度下降法迭代优化。

实验结果

研究问题

• RQ1 深度生成模型能否作为有效先验，解决高度欠定且非凸的 S³PR 问题？
• RQ2 将解约束在生成模型的输出范围内，是否能实现从仅强度测量中可靠分离多个相干源？
• RQ3 在不同测量模型和噪声水平下，Deep S³PR 与级联源分离与相位恢复方法（USS + PR）的性能相比如何？
• RQ4 该方法在不同前向模型（高斯、CDP、傅里叶）和数据集类型（MNIST、Fashion-MNIST）之间具有多大程度的泛化能力？
• RQ5 在不同混合图像数量和信噪比（SNR）条件下，重建精度的定量极限（以 NMSE 衡量）是什么？

主要发现

• 在所有测量模型下，Deep S³PR 的 NMSE 显著低于级联的 USS + PR 基线方法，尤其在高斯测量下，2 张 MNIST 图像的平均性能提升达 2.5 倍。
• 在傅里叶测量下，Deep S³PR 对四张 MNIST 图像的平均 NMSE 为 0.28 ± 0.06，而 USS + PR 为 0.87 ± 0.12，表明其在具有挑战性的现实场景中具有鲁棒性。
• 在傅里叶测量下，该方法成功重建了两张源的 Fashion-MNIST 图像的总体形状，尽管在更高混合数量时出现伪影。
• 在 CDP 测量下，即使在四张图像混合时，Deep S³PR 仍保持较低误差（NMSE ≈ 0.14–0.28），而级联方法在两张图像时即已失效。
• 当通过自相关函数在傅里叶域重新表述损失时，该方法在傅里叶测量下表现出更优的收敛性和稳定性。
• 实证结果证实，即使在傅里叶测量下，仅两张图像时，级联方法 USS + PR 也已失效，而 Deep S³PR 在最多四张图像时仍保持有效。