[论文解读] Differentiable probabilistic models of scientific imaging with the Fourier slice theorem

Karen Ullrich, Rianne van den Berg+3 more|arXiv (Cornell University)|Jun 18, 2019

Advanced Electron Microscopy Techniques and Applications参考文献 33被引用 9

一句话总结

该论文提出了一种基于傅里叶切片定理的可微分概率3D重建模型，用于科学成像，实现了端到端的基于梯度的优化。通过将3D结构和姿态建模为带有不确定性的潜在变量，该方法实现了数据高效的重建，并可进行无监督的模型评估，在较少数据下优于点估计方法，同时能够预测低采样区域和噪声。

ABSTRACT

Scientific imaging techniques such as optical and electron microscopy and computed tomography (CT) scanning are used to study the 3D structure of an object through 2D observations. These observations are related to the original 3D object through orthogonal integral projections. For common 3D reconstruction algorithms, computational efficiency requires the modeling of the 3D structures to take place in Fourier space by applying the Fourier slice theorem. At present, it is unclear how to differentiate through the projection operator, and hence current learning algorithms can not rely on gradient based methods to optimize 3D structure models. In this paper we show how back-propagation through the projection operator in Fourier space can be achieved. We demonstrate the validity of the approach with experiments on 3D reconstruction of proteins. We further extend our approach to learning probabilistic models of 3D objects. This allows us to predict regions of low sampling rates or estimate noise. A higher sample efficiency can be reached by utilizing the learned uncertainties of the 3D structure as an unsupervised estimate of the model fit. Finally, we demonstrate how the reconstruction algorithm can be extended with an amortized inference scheme on unknown attributes such as object pose. Through empirical studies we show that joint inference of the 3D structure and the object pose becomes more difficult when the ground truth object contains more symmetries. Due to the presence of for instance (approximate) rotational symmetries, the pose estimation can easily get stuck in local optima, inhibiting a fine-grained high-quality estimate of the 3D structure.

研究动机与目标

• 解决在3D科学成像（尤其是冷冻电子显微镜）中对正交积分投影算子进行反向传播的挑战。
• 通过可微分推理实现对3D结构及未知属性（如物体姿态）的概率建模。
• 通过利用学习到的不确定性估计作为无监督的模型拟合指标，提升3D重建的数据效率。
• 克服传统MAP估计在冷冻电镜中对初始化敏感以及姿态估计易陷入局部最优的局限性。
• 开发一种可扩展的可微分框架，用于科学成像，支持摊销推理与不确定性量化。

提出的方法

• 将图像形成过程建模为包含潜在3D结构与姿态的可微分图模型。
• 应用傅里叶切片定理在傅里叶空间中表示投影，实现高效且可微分的投影计算。
• 使用重参数化技巧，实现对随机潜在变量（如3D体积分布的高斯分布）的反向传播。
• 将3D结构建模为参数化的概率分布（如各向同性高斯分布），以支持不确定性估计与数据高效的模型学习。
• 集成摊销推理以处理未知姿态，实现结构与姿态的联合估计，并附带不确定性量化。
• 利用带重要性加权的证据下界（ELBO）估计数据对数似然，用于模型批评与评估。

实验结果

研究问题

• RQ1 能否通过傅里叶切片定理使3D科学成像中的投影算子可微分，从而支持端到端学习？
• RQ2 与点估计相比，通过学习不确定性进行3D结构的概率建模是否能提升3D重建的数据效率？
• RQ3 学习到的不确定性在识别低采样区域或模型拟合不良区域方面的有效性如何？
• RQ4 在对称结构中，使用可微分概率模型是否能改善3D结构与物体姿态的联合推断？
• RQ5 所提出的方法能否替代传统且数据低效的评估指标（如FSC），转而采用基于不确定性的模型验证？

主要发现

• 所提方法在显著更少的数据下实现了与点估计（如狄拉克δ函数）相当的重建质量，证明了其更高的数据效率。
• 学习到的不确定性估计能有效识别低采样率区域，因为这些区域由于KL散度较高而默认采用先验分布。
• 该方法无需真实标签即可成功预测噪声与模型拟合质量，从而实现重建质量的无监督评估。
• 在对称结构中，基于梯度的姿势估计优化无法收敛到全局最优，因为误差曲面上存在多个局部最优解。
• 尽管在学习姿态后验分布方面存在局限，该方法仍可与现有姿态估计技术（如分支定界法）结合，保留不确定性优势的同时实现全局最优。
• 该方法支持摊销推理与蛋白质间的迁移学习潜力，未来工作将聚焦于在不偏移潜在结构的前提下迁移噪声特性。