[论文解读] DeepDefacer: Automatic Removal of Facial Features via U-Net Image Segmentation

Anish Khazane, Julien Hoachuck+2 more|arXiv (Cornell University)|May 31, 2022

Radiomics and Machine Learning in Medical Imaging被引用 6

一句话总结

DeepDefacer 提出了一种轻量级的 3D U-Net 深度学习模型，用于自动 MRI 匿名化，其面部区域分割与掩码生成速度比 Pydeface 快 91%，参数量比标准 3D U-Net 少 92%，同时保持了高 segmentation 准确性，并在异常面部解剖结构上的泛化能力优于传统配准方法。

ABSTRACT

Recent advancements in the field of magnetic resonance imaging (MRI) have enabled large-scale collaboration among clinicians and researchers for neuroimaging tasks. However, researchers are often forced to use outdated and slow software to anonymize MRI images for publication. These programs specifically perform expensive mathematical operations over 3D images that rapidly slow down anonymization speed as an image's volume increases in size. In this paper, we introduce DeepDefacer, an application of deep learning to MRI anonymization that uses a streamlined 3D U-Net network to mask facial regions in MRI images with a significant increase in speed over traditional de-identification software. We train DeepDefacer on MRI images from the Brain Development Organization (IXI) and International Consortium for Brain Mapping (ICBM) and quantitatively evaluate our model against a baseline 3D U-Net model with regards to Dice, recall, and precision scores. We also evaluate DeepDefacer against Pydeface, a traditional defacing application, with regards to speed on a range of CPU and GPU devices and qualitatively evaluate our model's defaced output versus the ground truth images produced by Pydeface. We provide a link to a PyPi program at the end of this manuscript to encourage further research into the application of deep learning to MRI anonymization.

研究动机与目标

• 解决传统 MRI 匿名化工具（如 Pydeface）依赖缓慢的配准和数值优化所导致的效率低下与计算负担过重问题。
• 克服传统方法在面部异常或低分辨率 MRI 扫描中失效的局限性，这些方法依赖刚性变换矩阵，难以适应非标准解剖结构。
• 开发一种基于深度学习的解决方案，使其能够泛化于各种 MRI 扫描，包括具有非标准面部解剖结构的扫描。
• 通过实现无需云基础设施或复杂软件堆栈的快速本地设备匿名化，降低研究人员的使用门槛。
• 通过 PyPI 发布用户友好的开源工具，并支持未来基于 Web 的集成，以促进广泛采用和基于反馈的模型迭代优化。

提出的方法

• 在 IXI 和 ICBM 数据集的配对 MRI 扫描与二值面部掩码上训练 3D U-Net 架构，以端到端方式学习面部区域分割。
• 采用全卷积、简化的网络结构，减少滤波器尺寸与参数数量，以提升推理速度并降低内存占用。
• 在训练过程中使用 Pydeface 生成的真值掩码作为监督信号，确保与既定匿名化标准保持一致。
• 通过逐元素乘法将预测的二值掩码应用于原始 MRI 图像，生成最终的匿名化输出。
• 针对 CPU 和 GPU 推理进行优化，支持在个人工作站上本地部署，无需依赖云服务。
• 利用 TensorFlow.js 将模型集成到未来的基于 Web 的界面中，实现在浏览器内推理，保障数据隐私。

实验结果

研究问题

• RQ1 基于深度学习的分割模型是否能在速度和鲁棒性方面超越传统配准方法（如 Pydeface）用于 MRI 匿名化？
• RQ2 与标准 3D U-Net 相比，轻量级 3D U-Net 在分割准确性和参数效率方面表现如何？
• RQ3 深度学习模型在处理挑战经典匿名化算法的面部异常 MRI 扫描时，其泛化能力有多强？
• RQ4 与现有软件相比，深度学习模型能否在显著降低计算与内存开销的同时实现高匿名化准确率？
• RQ5 如何通过开源与基于 Web 的部署方式，使非专业用户也能便捷使用基于深度学习的匿名化工具？

主要发现

• DeepDefacer 在各种 CPU 和 GPU 设备上相较 Pydeface 平均提速 91%，实现在标准硬件上的实时匿名化处理。
• 该模型参数量比基线 3D U-Net 减少 92%，显著降低了内存占用。
• 在处理面部异常的 MRI 扫描时，DeepDefacer 表现优于 Pydeface，能在 Pydeface 因错误仿射变换失败时生成更准确的掩码。
• 定量评估显示，DeepDefacer 在 IXI 和 ICBM 数据集上取得了高 Dice、精确率与召回率分数，证明其具备出色的分割性能。
• 定性分析表明，DeepDefacer 生成的匿名化结果更一致且解剖学上更合理，尤其在非标准面部结构情况下表现更优。
• 由于采用更小的滤波器和端到端训练，模型生成的掩码结构更具形态多样性，增强了泛化能力，同时不损害面部区域去除的核心目标。