[论文解读] Inter-slice image augmentation based on frame interpolation for boosting medical image segmentation accuracy

Zhaotao Wu, Jia Wei+3 more|arXiv (Cornell University)|Jan 31, 2020

Medical Image Segmentation Techniques被引用 7

一句话总结

该论文提出了一种新颖的跨切片图像增强方法，结合帧插值与基于注意力机制的生成对抗网络（GAN），在连续的医学影像之间生成合成的中间切片，显著提升了3D肝脏分割的准确性。通过利用医学影像体积中的空间连续性，并采用带有自适应注意力机制的双判别器（全局与局部）结构，该方法在提升图像真实感的同时，保持了分割相关特征的保真度，在生成三个中间切片时，于SLIVER07和CHAOS2019数据集上达到了最先进的Dice分数。

ABSTRACT

We introduce the idea of inter-slice image augmentation whereby the numbers of the medical images and the corresponding segmentation labels are increased between two consecutive images in order to boost medical image segmentation accuracy. Unlike conventional data augmentation methods in medical imaging, which only increase the number of training samples directly by adding new virtual samples using simple parameterized transformations such as rotation, flipping, scaling, etc., we aim to augment data based on the relationship between two consecutive images, which increases not only the number but also the information of training samples. For this purpose, we propose a frame-interpolation-based data augmentation method to generate intermediate medical images and the corresponding segmentation labels between two consecutive images. We train and test a supervised U-Net liver segmentation network on SLIVER07 and CHAOS2019, respectively, with the augmented training samples, and obtain segmentation scores exhibiting significant improvement compared to the conventional augmentation methods.

研究动机与目标

• 通过在连续影像之间生成合成的中间切片，解决医学图像分割中训练数据有限的问题。
• 通过建模切片间的空间关系，不仅增加训练样本数量，也提升其信息含量，从而改善分割性能。
• 通过采用具有注意力机制的双判别器GAN架构，提升合成图像的真实感，同时保留与分割相关的特征。
• 探究生成中间切片的最优数量，以在不引入过多合成噪声的前提下最大化分割准确性。
• 在真实临床数据集（SLIVER07和CHAOS2019）上验证方法的有效性，并证明其在不同成像协议下的泛化能力。

提出的方法

• 该方法使用基于帧插值的网络，在两个连续的轴向切片之间生成中间医学影像，通过将输入图像和标签配准到统一的空间分辨率。
• 采用带有注意力机制的U-Net生成器，聚焦于与分割相关的关键解剖结构，特别是肝脏及其周围解剖背景。
• 采用双判别器GAN架构：全局判别器用于评估图像整体的真实性，局部判别器结合注意力机制用于验证分割关键区域的逼真度。
• 局部判别器中的注意力网络可自动识别并强调对区分目标器官最有用的特征，从而提升合成图像中关键特征的保真度。
• 生成器通过来自两个判别器的对抗损失以及重建损失进行端到端训练，以保持插值切片间标签的一致性。
• 中间切片的数量可配置，方法通过在不同数量的合成切片（1至5个）下训练U-Net进行评估。

实验结果

研究问题

• RQ1 帧插值能否被有效适配于3D医学影像中，以生成逼真的中间切片并提升分割性能？
• RQ2 在局部判别器中引入注意力机制是否能提升合成图像在分割任务中的质量？
• RQ3 为最大化分割准确性，应生成多少个中间切片，才能在不引入噪声或失真情况下实现最优性能？
• RQ4 与传统数据增强技术相比，该方法在真实世界医学影像基准测试中，Dice分数的提升表现如何？
• RQ5 该方法是否能跨不同成像模态（如CT与MRI）和数据集实现泛化，而不仅限于所评估的CT数据集？

主要发现

• 当在连续图像之间生成三个中间切片时，该方法在SLIVER07数据集上实现了最高平均Dice分数0.912（±0.012）。
• 在CHAOS2019数据集上，该方法在生成三个插值切片时达到平均Dice分数0.843（±0.014），优于所有其他配置。
• 生成三个中间切片时分割性能最佳，增加至四个或五个切片后准确率下降，原因在于合成噪声累积及与真实解剖结构的偏差。
• 消融实验证实，全局判别器与局部判别器均显著提升了合成图像的真实感与分割实用性，其中局部判别器与注意力机制在保持解剖上下文方面尤为有效。
• 注意力网络成功聚焦于肝脏及其周围区域，表明上下文特征对准确分割至关重要，且该模型能有效捕捉这些特征。
• 该方法优于传统数据增强技术（如旋转、翻转、缩放），后者仅增加样本数量，但未提升特征多样性或空间连续性。