[论文解读] Design and Development of a Web-based Tool for Inpainting of Dissected Aortae in Angiography Images

Alexander Prutsch, Antonio Pepe+1 more|arXiv (Cornell University)|May 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 10被引用 5

一句话总结

本文提出了一种集成到StudierFenster 3D医学影像查看器中的基于网络的修复工具，利用预训练的EdgeConnect神经网络，使非专业用户能够通过浏览器界面，使用自由绘制的掩码，在CTA影像中虚拟地将夹层主动脉恢复为健康状态。该工具通过浏览器界面实现深度学习驱动的图像修复，简化了非技术背景的医学研究人员和临床医生的使用。该工具可生成合成的'前后'夹层主动脉影像对，用于疾病进展的研究。

ABSTRACT

Medical imaging is an important tool for the diagnosis and the evaluation of an aortic dissection (AD); a serious condition of the aorta, which could lead to a life-threatening aortic rupture. AD patients need life-long medical monitoring of the aortic enlargement and of the disease progression, subsequent to the diagnosis of the aortic dissection. Since there is a lack of 'healthy-dissected' image pairs from medical studies, the application of inpainting techniques offers an alternative source for generating them by doing a virtual regression from dissected aortae to healthy aortae; an indirect way to study the origin of the disease. The proposed inpainting tool combines a neural network, which was trained on the task of inpainting aortic dissections, with an easy-to-use user interface. To achieve this goal, the inpainting tool has been integrated within the 3D medical image viewer of StudierFenster (www.studierfenster.at). By designing the tool as a web application, we simplify the usage of the neural network and reduce the initial learning curve.

研究动机与目标

• 解决医学研究中缺乏配对的健康-夹层CTA影像，以分析主动脉夹层进展的问题。
• 简化非技术背景的医学研究人员和临床医生对基于深度学习的图像修复技术的访问。
• 将最先进的神经网络（EdgeConnect）集成到用户友好的网络应用中，用于医学影像分析。
• 实现合成影像对（夹层前与夹层后）的生成，以改善风险评估和疾病建模。

提出的方法

• 该工具将EdgeConnect神经网络——一种两阶段GAN模型——集成到StudierFenster网络平台中，该平台托管了3D医学影像查看器。
• 使用HTML、JavaScript和CSS构建的客户端网络界面，允许用户上传CTA影像切片，并在夹层区域自由绘制掩码。
• 掩码与图像通过AJAX发送至基于Flask的后端服务器，EdgeConnect模型在子进程中运行以生成修复结果。
• 修复过程采用对抗性训练：首先重建掩码区域的边缘；其次，使用生成模型完成整个图像区域。
• 系统部署在Web服务器上，无需本地软件安装，支持直接通过浏览器使用。
• 性能测量显示，总处理时间的92%（约4秒）来自EdgeConnect的推理过程，网络传输和Web框架的开销极低。

实验结果

研究问题

• RQ1 基于网络的界面是否能有效简化非技术医学用户对复杂深度学习图像修复技术的访问？
• RQ2 如何将预训练的EdgeConnect模型集成到医学影像查看器中，以实现主动脉夹层的虚拟回归？
• RQ3 在Web应用中部署深度学习模型进行医学影像修复时，性能开销如何？
• RQ4 生成的影像对（有夹层与无夹层）是否可用于研究主动脉壁结构随时间的形态学变化？
• RQ5 如何通过用户反馈优化边缘图预测，以提升修复质量？

主要发现

• 基于网络的图像修复工具成功实现了无需安装软件的浏览器端CTA影像主动脉夹层修复，显著降低了学习门槛。
• 单个CTA切片的平均端到端处理时间约为4秒，其中92%的时间归因于EdgeConnect的推理步骤。
• 用户界面支持直观的自由绘制掩码功能，相比直接使用EdgeConnect的命令行界面，显著提升了可用性。
• 修复结果成功将夹层主动脉转换为视觉上合理的健康主动脉，但部分重建区域存在轻微模糊现象。
• 服务器端的Flask应用和网络传输仅占总处理时间的8%，表明Web架构的开销极低。
• 该系统具备向3D修复扩展的潜力，因为客户端代码已支持多切片传输，尽管后端和模型仍需更新以实现完整的3D支持。