[论文解读] FreMIM: Fourier Transform Meets Masked Image Modeling for Medical Image Segmentation

Wenxuan Wang, Jing Wang+5 more|arXiv (Cornell University)|Apr 21, 2023

Radiomics and Machine Learning in Medical Imaging被引用 5

一句话总结

FreMIM 提出了一种新颖的自监督预训练框架，用于医学图像分割，通过在频域中进行掩码图像建模，其中重建的是缺失的频谱分量而非原始像素。通过在多阶段监督下利用低频语义和高频细节，FreMIM 实现了最先进性能，在三个数据有限的基准数据集上，平均 Dice 分数相比监督基线最高提升 +1.15%。

ABSTRACT

The research community has witnessed the powerful potential of self-supervised Masked Image Modeling (MIM), which enables the models capable of learning visual representation from unlabeled data. In this paper, to incorporate both the crucial global structural information and local details for dense prediction tasks, we alter the perspective to the frequency domain and present a new MIM-based framework named FreMIM for self-supervised pre-training to better accomplish medical image segmentation tasks. Based on the observations that the detailed structural information mainly lies in the high-frequency components and the high-level semantics are abundant in the low-frequency counterparts, we further incorporate multi-stage supervision to guide the representation learning during the pre-training phase. Extensive experiments on three benchmark datasets show the superior advantage of our FreMIM over previous state-of-the-art MIM methods. Compared with various baselines trained from scratch, our FreMIM could consistently bring considerable improvements to model performance. The code will be publicly available at https://github.com/Rubics-Xuan/FreMIM.

研究动机与目标

• 为解决现有掩码图像建模（MIM）方法在捕捉医学图像中全局上下文与局部细节方面的局限性。
• 通过利用频域先验，在数据稀缺条件下提升医学图像分割的表征学习能力。
• 开发一种多阶段监督策略，以指导不同频带上的特征学习。
• 证明在自监督预训练中，频域重建相比像素空间重建具有优越性。
• 在数据高效设置下，验证前景掩码和最优超参数选择的有效性。

提出的方法

• 该框架在空间域中掩码随机的前景像素，并重建对应的傅里叶谱，而非原始像素。
• 对傅里叶谱应用低通和高通滤波器，以提取低频（全局）和高频（局部细节）分量，实现多阶段监督。
• 采用双边聚合解码器，使用分别处理低频和高频分量的头，重建完整的傅里叶谱。
• 使用频域中的掩码重建损失进行模型预训练，结合动态损失加权和频带阈值处理。
• 将预训练的编码器在下游分割任务上进行微调，使用标准交叉熵损失和 Dice 损失。
• 选定静态掩码比 0.25 为最优，消融实验验证了损失权重和频带通路选择的合理性。

实验结果

研究问题

• RQ1 用傅里叶谱重建替代原始像素重建，是否能提升医学图像分割的表征学习能力？
• RQ2 对低频和高频分量进行多阶段监督，是否相比单阶段重建能显著提升模型性能？
• RQ3 与随机块掩码相比，仅掩码前景在表征质量与数据效率方面表现如何？
• RQ4 在频域预训练中，最优的掩码比和频带阈值是什么？
• RQ5 FreMIM 是否能在极少标注数据下实现优异性能，证明其在医学图像中的数据效率？

主要发现

• FreMIM 在 BraTS2020 数据集上实现了 84.59% 的平均 Dice 分数，相比监督基线提升 +1.15%。
• 仅使用一个训练样本进行预训练时，FreMIM 在平均 Dice 上提升 +0.61%，证明了其极高的数据效率。
• 最优掩码比为 0.25，过高或过低的掩码比均会因重建任务过易或过难而降低性能。
• 损失权重 α = 3 和频带通路阈值 PB = 10 取得最佳结果，消融实验确认了其有效性。
• 多阶段监督策略显著提升性能，尤其在 BraTS 数据集的 ET 和 TC 结构上增益最大。
• FreMIM 在所有三个基准数据集上均优于先前最先进 MIM 方法，证实其在表征学习方面的优越性。