[论文解读] Detecting Outliers with Foreign Patch Interpolation

Jeremy Tan, Benjamin Hou+3 more|arXiv (Cornell University)|Nov 9, 2020

Anomaly Detection Techniques and Applications参考文献 57被引用 14

一句话总结

本文提出了一种名为外部补丁插值（Foreign Patch Interpolation, FPI）的自监督方法，通过训练一个宽残差U-Net模型来预测来自不同受试者的补丁之间的插值因子，从而检测医学图像中细微的异常。该模型学习正常解剖上下文并识别外来模式，在MICCAI 2020年MOOD挑战赛中表现达到最先进水平，并在DeepLesion数据集上检测细微病灶时优于基于重建的方法。

ABSTRACT

In medical imaging, outliers can contain hypo/hyper-intensities, minor deformations, or completely altered anatomy. To detect these irregularities it is helpful to learn the features present in both normal and abnormal images. However this is difficult because of the wide range of possible abnormalities and also the number of ways that normal anatomy can vary naturally. As such, we leverage the natural variations in normal anatomy to create a range of synthetic abnormalities. Specifically, the same patch region is extracted from two independent samples and replaced with an interpolation between both patches. The interpolation factor, patch size, and patch location are randomly sampled from uniform distributions. A wide residual encoder decoder is trained to give a pixel-wise prediction of the patch and its interpolation factor. This encourages the network to learn what features to expect normally and to identify where foreign patterns have been introduced. The estimate of the interpolation factor lends itself nicely to the derivation of an outlier score. Meanwhile the pixel-wise output allows for pixel- and subject- level predictions using the same model.

研究动机与目标

• 解决在无异常训练数据的情况下检测细微且多样的医学图像异常的挑战。
• 开发一种自监督方法，在保持对正常解剖变异泛化能力的同时，对细微偏差保持敏感。
• 构建一个统一的模型，实现无需依赖重建误差的像素级与受试者级异常检测。
• 提高对临床相关异常（如细微病灶）的检测能力，这些异常常被基于重建的方法所遗漏。
• 实现在真实医学影像中异常多样且事先未知的场景下，实现稳健且可泛化的异常检测。

提出的方法

• 通过从两个独立受试者中提取补丁，并使用从均匀分布中采样的随机因子进行插值，生成合成异常。
• 训练一个宽残差编码器-解码器网络，以预测插值因子并重建补丁，从而学习在上下文中检测外来模式。
• 插值因子的估计值直接作为异常评分，数值越高表示与正常外观的偏离程度越大。
• 像素级预测使得使用相同模型和训练流程即可实现像素级与受试者级异常检测。
• 该方法避免在验证中使用异常样本，从而保持对意外异常模式的泛化能力。
• 该方法在未配对的正常图像上端到端训练，利用自然解剖变异来模拟异常。

实验结果

研究问题

• RQ1 基于外部补丁插值的自监督方法是否能在无真实异常训练数据的情况下检测细微且多样的医学图像异常？
• RQ2 在DeepLesion数据集中，FPI与基于重建的方法相比，在检测细微病灶方面表现如何？
• RQ3 FPI是否能在无需微调的情况下泛化到不同解剖区域和成像对比度？
• RQ4 插值因子是否能在多种异常模式下提供可靠且可解释的异常评分？
• RQ5 FPI是否能在真实世界医学影像基准上实现零样本异常检测的最先进性能？

主要发现

• FPI在2020年MICCAI MOOD挑战赛的样本级和像素级任务中均取得最高排名，表明其对未见异常模式具有强大的泛化能力。
• 在DeepLesion数据集中，FPI成功检测到基于重建的方法未能突出显示的细微病灶，尽管后者在图像级检测的AUROC得分低于0.5。
• 该方法对高解剖变异具有鲁棒性，即使在缺乏强度不连续性或明显结构改变的情况下也能检测异常。
• 插值因子估计能有效捕捉外来模式引入的程度，从而提供可靠且可解释的异常评分。
• FPI在检测细微病灶方面优于基于重建的方法，因为它关注结构不一致而非像素级重建误差。
• 模型在不同解剖区域和成像对比度之间具有泛化能力，这一点在脑部和腹部MOOD挑战赛图像上的一致表现中得到验证。