[论文解读] Deformation estimation of an elastic object by partial observation using a neural network

Utako Yamamoto, Megumi Nakao+2 more|arXiv (Cornell University)|Nov 28, 2017

Medical Image Segmentation Techniques参考文献 27被引用 5

一句话总结

本文提出一种基于深度学习的方法，采用多层神经网络，仅通过约3%表面点的局部位移观测，即可估计弹性物体（如人体肝脏）的完整3D形变。该方法在通过非线性有限元模拟生成的合成数据上进行训练，平均估计误差仅为0.041 mm，即使输入数据极少，仍表现出极高的准确性，因此在实时手术导航系统中具有广阔应用前景。

ABSTRACT

Deformation estimation of elastic object assuming an internal organ is important for the computer navigation of surgery. The aim of this study is to estimate the deformation of an entire three-dimensional elastic object using displacement information of very few observation points. A learning approach with a neural network was introduced to estimate the entire deformation of an object. We applied our method to two elastic objects; a rectangular parallelepiped model, and a human liver model reconstructed from computed tomography data. The average estimation error for the human liver model was 0.041 mm when the object was deformed up to 66.4 mm, from only around 3 % observations. These results indicate that the deformation of an entire elastic object can be estimated with an acceptable level of error from limited observations by applying a trained neural network to a new deformation.

研究动机与目标

• 为解决在腹腔镜手术中仅能追踪少数表面点时，估计完整3D器官形变的挑战。
• 克服手术导航中因仅一小部分器官表面可见而导致的观测不完整问题。
• 开发一种机器学习方法，仅从稀疏位移数据推断完整形变，无需力测量。
• 评估神经网络在估计复杂弹性结构（如人体肝脏）形变方面的可行性与准确性。
• 实现实时、高精度的术中器官形变模拟，且仅依赖极少可观测数据。

提出的方法

• 训练一个多层神经网络，将来自少量可观测表面点的稀疏位移输入，映射为弹性物体所有网格顶点上的完整位移场。
• 通过在已知初始形状和边界条件下应用非线性有限元法（FEM）生成训练用的形变数据。
• 神经网络的输入层节点数为观测点数的三倍（x、y、z坐标），输出层则预测所有非固定顶点的位移。
• 通过试错法选择超参数（隐藏层大小、迭代次数），以在准确性和收敛速度之间取得平衡，采用反向传播进行优化。
• 该方法假设初始几何结构已知，仅专注于从观测位移预测整体位移，无需输入力或材料属性数据。
• 该框架在简单长方体和基于CT数据重建的复杂人体肝脏模型上均进行了验证。

实验结果

研究问题

• RQ1 神经网络能否仅基于少量观测表面点的位移数据，准确估计弹性物体的完整3D形变？
• RQ2 观测点的数量和空间分布如何影响估计精度？
• RQ3 在部分观测条件下，神经网络的最佳架构（如隐藏层大小、训练迭代次数）是什么？
• RQ4 网格复杂度（如肝脏模型与简单长方体相比）如何影响估计误差？
• RQ5 训练好的神经网络能否泛化到新的形变场景或不同器官几何形态？

主要发现

• 当仅约3%的顶点被观测时，人体肝脏模型的平均估计误差为0.041 mm，表明在稀疏观测下仍具有极高精度。
• 对于具有多个接触区域的肝脏模型，平均误差上升至0.275 mm，但仍远低于1 mm，具有临床可接受性。
• 所有测试案例中的最大误差为2.06 mm，相对于约15 mm的网格间距而言较小，表明对复杂形变具有鲁棒性。
• 中位数误差为0.146 mm（为第75百分位误差的0.33%），表明在多种形变模式下表现一致。
• 即使在未直接观测的区域，该方法也能实现可靠估计，表明训练后的神经网络具备强大的泛化能力。
• 本研究首次证明，神经网络能够有效学习从极少量位移观测中重建完整器官形变，且无需力或材料数据。