[论文解读] Limited-angle tomographic reconstruction of dense layered objects by dynamical machine learning

Iksung Kang, Alexandre Goy+1 more|arXiv (Cornell University)|Jul 21, 2020

Photoacoustic and Ultrasonic Imaging参考文献 80被引用 5

一句话总结

本文提出了一种新型循环神经网络（RNN），采用分卷积门控循环单元（SC-GRU），通过将角度照明序列建模为动力系统，以改善密集、分层、强散射物体的有限角度断层扫描重建。该方法通过动态处理和角度注意力机制，减少了伪影并提高了重建保真度，优于静态深度学习方法，在实验数据上实现了更优的定量结果。

ABSTRACT

Limited-angle tomography of strongly scattering quasi-transparent objects is a challenging, highly ill-posed problem with practical implications in medical and biological imaging, manufacturing, automation, and environmental and food security. Regularizing priors are necessary to reduce artifacts by improving the condition of such problems. Recently, it was shown that one effective way to learn the priors for strongly scattering yet highly structured 3D objects, e.g. layered and Manhattan, is by a static neural network [Goy et al, Proc. Natl. Acad. Sci. 116, 19848-19856 (2019)]. Here, we present a radically different approach where the collection of raw images from multiple angles is viewed analogously to a dynamical system driven by the object-dependent forward scattering operator. The sequence index in angle of illumination plays the role of discrete time in the dynamical system analogy. Thus, the imaging problem turns into a problem of nonlinear system identification, which also suggests dynamical learning as better fit to regularize the reconstructions. We devised a recurrent neural network (RNN) architecture with a novel split-convolutional gated recurrent unit (SC-GRU) as the fundamental building block. Through comprehensive comparison of several quantitative metrics, we show that the dynamic method improves upon previous static approaches with fewer artifacts and better overall reconstruction fidelity.

研究动机与目标

• 解决密集、分层、强散射物体在有限角度断层扫描重建中的高度病态问题。
• 在传统正则化方法失效的反向散射问题中，提高重建保真度并减少伪影。
• 将角度获取的原始图像建模为时间序列，实现动态学习，以改善先验建模。
• 评估架构组件（如分卷积、角度注意力机制和激活函数）对重建性能的贡献。
• 证明通过RNN实现的动态学习在复杂断层扫描重建中优于静态深度学习方法。

提出的方法

• 将多个角度照明的原始强度衍射图案视为离散时间动力系统，角度索引作为时间步长。
• 采用两阶段处理流程：首先通过梯度下降和移动平均操作生成近似序列，以降低噪声和维度。
• 将近似序列编码为潜在表征，并输入以新型分卷积门控循环单元（SC-GRU）为核心循环模块的循环神经网络。
• 角度注意力机制根据输入角度的信息量动态加权，提升特征融合效果。
• 通过注意力机制将最终的隐藏状态序列合并为单一表征，并解码为3D折射率重建结果。
• 采用端到端训练方式，使用损失函数最小化预测结果与真实3D物体之间的差异。

实验结果

研究问题

• RQ1 将角度断层扫描数据建模为动力系统是否能提升重建质量，优于静态深度学习方法？
• RQ2 引入分卷积门控循环单元（SC-GRU）在3D断层扫描重建中如何增强特征学习能力？
• RQ3 角度注意力机制在选择性强调信息丰富的视角方面，能在多大程度上提升重建保真度？
• RQ4 激活函数和参数共享等架构组件在有限角度断层扫描中的性能影响如何？
• RQ5 通过RNN实现的动态学习是否在重建密集、分层、强散射物体方面优于静态神经网络？

主要发现

• 所提出的带有SC-GRU的RNN架构在视觉对比中显著优于静态3D-DenseNet基线模型，伪影和失真更少。
• 消融研究显示，分卷积对性能提升贡献最大，其次为角度注意力机制和ReLU激活函数。
• 角度注意力机制收敛至近似均匀的加权分布，表明数据集中存在统计角度不变性，但仍带来可测量的性能增益。
• 定量指标（PE、Wasserstein距离和PCC）表明，动态方法在测试物体所有层面上均一致优于静态基线。
• 将ReLU替换为tanh激活函数仅带来微小性能变化，表明ReLU的作用不如其他组件关键。
• 该方法能有效处理强散射和复杂3D结构，在医学、生物和工业成像应用中展现出广阔前景。