[论文解读] Deep neural networks for inverse problems with pseudodifferential operators: an application to limited-angle tomography

Tatiana A. Bubba, Mathilde Galinier+4 more|arXiv (Cornell University)|Jun 2, 2020

Numerical methods in inverse problemsMathematics参考文献 36被引用 22

一句话总结

该论文提出了一种新型卷积神经网络 $Ψ$ DONet，用于通过学习伪微分算子来求解线性反问题，特别是有限角度计算机断层扫描（LA-CT）。通过将迭代软阈值算法（ISTA）解释为深度网络架构，该方法利用基于小波的分解以及源自X射线变换的几何与分析特性的卷积操作，在稀疏角度数据下实现了稳定且精确的重建。

ABSTRACT

We propose a novel convolutional neural network (CNN), called $\\Psi$DONet, designed for learning pseudodifferential operators ($\\Psi$DOs) in the context of linear inverse problems. Our starting point is the Iterative Soft Thresholding Algorithm (ISTA), a well-known algorithm to solve sparsity-promoting minimization problems. We show that, under rather general assumptions on the forward operator, the unfolded iterations of ISTA can be interpreted as the successive layers of a CNN, which in turn provides fairly general network architectures that, for a specific choice of the parameters involved, allow to reproduce ISTA, or a perturbation of ISTA for which we can bound the coefficients of the filters. Our case study is the limited-angle X-ray transform and its application to limited-angle computed tomography (LA-CT). In particular, we prove that, in the case of LA-CT, the operations of upscaling, downscaling and convolution, which characterize our $\\Psi$DONet and most deep learning schemes, can be exactly determined by combining the convolutional nature of the limited angle X-ray transform and basic properties defining an orthogonal wavelet system. We test two different implementations of $\\Psi$DONet on simulated data from limited-angle geometry, generated from the ellipse data set. Both implementations provide equally good and noteworthy preliminary results, showing the potential of the approach we propose and paving the way to applying the same idea to other convolutional operators which are $\\Psi$DOs or Fourier integral operators.

研究动机与目标

• 开发一种系统性地学习线性反问题中出现的伪微分算子（PDO）的深度学习框架。
• 解决由于角度数据不足导致标准方法（如滤波反投影）失效的有限角度计算机断层扫描（LA-CT）病态问题。
• 建立迭代算法（如ISTA）与深度神经网络架构之间的理论联系，实现可解释且稳定的学习。
• 利用有限角度X射线变换的卷积结构与正交小波系统，设计出具有解析确定层的网络。
• 通过椭圆幻像数据集在模拟的LA-CT数据上验证所提方法的可行性和鲁棒性。

提出的方法

• 该方法基于将迭代软阈值算法（ISTA）展开为深度残差网络架构，其中每个ISTA迭代对应网络的一层。
• 该网络命名为 $\Psi$ DONet，通过将前向算子建模为基于Calderón-Zygmund核与圆锥指示函数的卷积算子，来学习伪微分算子（PDO）的作用。
• 该架构结合了上采样、下采样与卷积操作，其设计基于有限角度X射线变换与正交小波系统的性质，具有解析确定性。
• 网络通过采用 $β$-正则化项的稀疏性促进变分公式进行训练，最小化包含数据保真项与稀疏性项的Tikhonov型泛函。
• 理论分析表明，在较弱假设下网络参数可被有界，并通过投影算子 $\mathbb{P}_p$ 与 $\mathbb{P}_q$ 的稳定性估计建立收敛性。
• 该方法在使用椭圆幻像的模拟LA-CT数据上进行了验证，测试了 $\Psi$ DONet的两种不同实现以评估性能与鲁棒性。

实验结果

研究问题

• RQ1 能否系统性地将迭代软阈值算法（ISTA）展开为保留理论稳定性与收敛性的卷积神经网络架构？
• RQ2 深度网络的卷积层在多大程度上可从有限角度断层扫描中前向算子的数学结构中解析推导？
• RQ3 基于小波的分解与伪微分算子理论如何促进可解释且稳定的反问题深度学习模型设计？
• RQ4 在存在角度间隙的情况下，基于有限角度数据训练的深度网络能否在重建质量上优于经典方法（如滤波反投影）？
• RQ5 所学习的网络参数与底层前向算子之间存在何种理论关系，特别是在滤波器系数有界性与收敛性方面？

主要发现

• $\Psi$ DONet 框架成功地将迭代ISTA算法映射为深度残差网络架构，实现了反问题中伪微分算子的学习。
• $\Psi$ DONet 中的上采样、下采样与卷积操作均基于有限角度X射线变换的卷积特性与正交小波的性质，具有解析确定性。
• 在模拟的椭圆幻像数据上测试了 $\Psi$ DONet 的两种实现，两者均在从有限角度投影重建图像方面取得了同等优秀且引人注目的初步结果。
• 理论分析建立了滤波器系数与收敛速率的有界性，表明网络误差随深度呈指数衰减，并且在前向算子扰动下保持稳定。
• 即使在数据含噪或角度覆盖严重受限的情况下，该方法仍能实现稳定重建，优于经典方法如滤波反投影。
• 该框架为其他具有伪微分或傅里叶积分算子特性的卷积算子提供了可推广的方法，为医学与工业成像中的广泛应用铺平了道路。