[论文解读] Decompose to manipulate: Manipulable Object Synthesis in 3D Medical Images with Structured Image Decomposition

Siqi Liu, Eli Gibson+6 more|arXiv (Cornell University)|Dec 4, 2018

COVID-19 diagnosis using AI参考文献 30被引用 21

一句话总结

本文提出了一种3D可操控物体合成框架，将医学物体（如肺结节）分解为分割掩码和可学习的残差向量，以实现可控生成。通过条件变分自编码器（cVAE）、对抗性精炼以及结构化分解，该方法生成了逼真且多样的结节，在结合真实数据时，使CPM评分的结节检测性能提升了8.44%。

ABSTRACT

The performance of medical image analysis systems is constrained by the quantity of high-quality image annotations. Such systems require data to be annotated by experts with years of training, especially when diagnostic decisions are involved. Such datasets are thus hard to scale up. In this context, it is hard for supervised learning systems to generalize to the cases that are rare in the training set but would be present in real-world clinical practices. We believe that the synthetic image samples generated by a system trained on the real data can be useful for improving the supervised learning tasks in the medical image analysis applications. Allowing the image synthesis to be manipulable could help synthetic images provide complementary information to the training data rather than simply duplicating the real-data manifold. In this paper, we propose a framework for synthesizing 3D objects, such as pulmonary nodules, in 3D medical images with manipulable properties. The manipulation is enabled by decomposing of the object of interests into its segmentation mask and a 1D vector containing the residual information. The synthetic object is refined and blended into the image context with two adversarial discriminators. We evaluate the proposed framework on lung nodules in 3D chest CT images and show that the proposed framework could generate realistic nodules with manipulable shapes, textures and locations, etc. By sampling from both the synthetic nodules and the real nodules from 2800 3D CT volumes during the classifier training, we show the synthetic patches could improve the overall nodule detection performance by average 8.44% competition performance metric (CPM) score.

研究动机与目标

• 为解决监督深度学习模型训练中高质量、多样化标注3D医学图像稀缺的问题。
• 克服现有数据增强和图像修复方法在物体形状、纹理和位置控制方面的局限性。
• 开发一种可控、高保真度的合成框架，生成具有可操控属性的逼真3D结节，以提升医学图像分析中的泛化能力。
• 利用临床CT数据评估合成结节对真实世界结节检测性能的影响。

提出的方法

• 在3D网格顶点上训练条件变分自编码器（cVAE），以生成逼真的3D结节形状。
• 通过图像分解网络将物体区域划分为分割掩码和编码强度、纹理及其他残差特征的一维残差向量。
• 通过解码网络从分解组件重建物体，并利用精炼网络将其融合到图像上下文中。
• 在最终阶段应用两个对抗性判别器，以精炼合成物体并确保图像上下文的真实性。
• 残差向量支持对纹理和外观进行操控，同时通过分割掩码保持形状不变。
• 该框架支持通过残差向量的随机采样实现随机放置、形状变化、尺寸缩放和纹理控制。

实验结果

研究问题

• RQ1 我们能否在3D CT图像中生成具有可控属性（如形状、大小、纹理和位置）的逼真3D医学物体？
• RQ2 将物体结构化分解为掩码与残差向量，是否能实现在3D医学成像中有效且可操控的合成？
• RQ3 通过该框架生成的合成结节是否能提升下游结节检测分类器的性能？
• RQ4 当训练数据包含合成结节与仅使用真实数据时，检测模型的性能表现有何差异？
• RQ5 选择难以检测的合成样本是否能进一步提升检测性能？

主要发现

• 所提出的框架通过可操控的残差向量控制，成功生成了具有多样化形状、大小、纹理和位置的逼真3D肺结节。
• 当与真实数据结合时，合成结节使整体结节检测性能在竞赛性能指标（CPM）上提升了8.44%。
• 从真实和合成图像块中采样，尤其是通过低分类器置信度和判别器输出识别出的困难样本，进一步提升了检测性能。
• 该方法优于缺乏可控性的基线图像修复方法，后者未提升检测性能。
• 该框架在视觉保真度方面表现优异，定性评估显示生成的结节与真实结节难以区分。
• 局限性包括在肺壁附近生成结节存在困难，且无法处理复杂多组件或多标签结构。