[论文解读] Learned SVD: solving inverse problems via hybrid autoencoding

Yoeri E. Boink, Christoph Brüne|arXiv (Cornell University)|Dec 20, 2019

Model Reduction and Neural Networks参考文献 45被引用 8

一句话总结

该论文提出了一种数据驱动的方法——学习型SVD（L-SVD），通过两个相互连接的自编码器，联合学习测量值和信号的非线性低维流形，并通过一个线性缩放层将二者关联。该方法在PSNR和SSIM指标上优于Tikhonov、ORIM和TV方法，实现了优异的重建质量，同时支持无需迭代的可解释性单步反演，且在已知前向模型时提供了收敛性保证。

ABSTRACT

Our world is full of physics-driven data where effective mappings between data manifolds are desired. There is an increasing demand for understanding combined model-based and data-driven methods. We propose a nonlinear, learned singular value decomposition (L-SVD), which combines autoencoders that simultaneously learn and connect latent codes for desired signals and given measurements. We provide a convergence analysis for a specifically structured L-SVD that acts as a regularisation method. In a more general setting, we investigate the topic of model reduction via data dimensionality reduction to obtain a regularised inversion. We present a promising direction for solving inverse problems in cases where the underlying physics are not fully understood or have very complex behaviour. We show that the building blocks of learned inversion maps can be obtained automatically, with improved performance upon classical methods and better interpretability than black-box methods.

研究动机与目标

• 开发一种数据驱动且可解释的方法，用于求解底层物理机制复杂或部分未知的反问题。
• 通过同时学习测量值和信号的非线性流形，将基于模型的正则化与深度学习相结合。
• 通过包含线性缩放层连接潜在码的混合自编码器架构，实现直接、非迭代的反演。
• 当已知前向算子时，为L-SVD提供理论收敛性保证，将其形式化为一种数据驱动的Tikhonov正则化方法。
• 通过利用自编码器在缺乏完整配对数据时仍能正则化信号重建，支持半监督学习。

提出的方法

• L-SVD采用两个自编码器：一个将测量值 $ y^\delta $ 编码为潜在码 $ z^y $，另一个将信号 $ x $ 编码为 $ z^x $，均以非线性方式实现。
• 潜在码 $ z^x $ 和 $ z^y $ 通过一个线性缩放层连接，该层作为两个流形之间学习到的、可解释的映射。
• 所有网络参数联合训练，以在保持数据和信号流形信息的同时，对齐潜在表示。
• 当已知前向算子 $ A $ 时，L-SVD可被构建成一种数据驱动的Tikhonov正则化方法，且在噪声条件下可证明收敛性。
• 该方法支持灵活的网络架构，包括卷积自编码器和变分自编码器，并可整合对 $ A $ 的部分知识以提升泛化能力。
• 重建通过前向传播完成：将 $ y^\delta \to z^y $ 编码，应用缩放 $ z^y \to z^x $，再将 $ z^x \to \hat{x} $ 解码。

实验结果

研究问题

• RQ1 混合自编码器框架是否能够学习到稳定、可解释且高性能的反向映射，而无需反复应用计算昂贵的前向算子？
• RQ2 当已知前向算子时，L-SVD与Tikhonov和总变差等经典正则化方法相比表现如何？
• RQ3 L-SVD在前向物理机制未知或复杂时，其泛化能力如何？它在多大程度上保持了可解释性？
• RQ4 联合自编码与线性缩放对重建质量与收敛性的影响如何，特别是在半监督设置下？
• RQ5 即使未显式使用前向算子，L-SVD是否可被理论证明为一种具有噪声收敛保证的正则化方法？

主要发现

• 在测试数据上，L-SVD实现了36.34 ± 1.62的PSNR和0.920 ± 0.023的SSIM，优于T-SVD（33.86 ± 1.11 PSNR）、ORIM（34.19 ± 1.12 PSNR）和TV（35.90 ± 1.40 PSNR）。
• 与线性方法（T-SVD、ORIM）相比，L-SVD提供了更优的重建质量，并在PSNR和SSIM上达到或超过非线性TV方法，尽管TV方法需约1000次迭代才能收敛。
• L-SVD实现了直接、非迭代的重建，而TV方法计算成本高且需调节单一参数。
• 该方法受益于自编码技术的进步，因为重建误差依赖于自编码器的质量，未来可通过更优架构实现性能提升。
• 当已知前向算子时，L-SVD在噪声条件下被证明具有收敛性，确立了其作为数据驱动Tikhonov正则化方法的理论有效性。
• 该架构支持半监督学习，因为自编码器可利用未标记数据，使泛化能力超越标准监督网络。