[论文解读] Anomaly Detection on X-Rays Using Self-Supervised Aggregation Learning

Behzad Bozorgtabar, Dwarikanath Mahapatra+2 more|arXiv (Cornell University)|Oct 19, 2020

Anomaly Detection Techniques and Applications参考文献 29被引用 5

一句话总结

本文提出SALAD，一种用于X光图像异常检测的自监督深度学习框架，通过记忆库和相似性聚合学习典型正常模式，在训练过程中无需使用异常标签，即可在NIH胸部X光和MURA数据集上实现最先进性能。

ABSTRACT

Deep anomaly detection models using a supervised mode of learning usually work under a closed set assumption and suffer from overfitting to previously seen rare anomalies at training, which hinders their applicability in a real scenario. In addition, obtaining annotations for X-rays is very time consuming and requires extensive training of radiologists. Hence, training anomaly detection in a fully unsupervised or self-supervised fashion would be advantageous, allowing a significant reduction of time spent on the report by radiologists. In this paper, we present SALAD, an end-to-end deep self-supervised methodology for anomaly detection on X-Ray images. The proposed method is based on an optimization strategy in which a deep neural network is encouraged to represent prototypical local patterns of the normal data in the embedding space. During training, we record the prototypical patterns of normal training samples via a memory bank. Our anomaly score is then derived by measuring similarity to a weighted combination of normal prototypical patterns within a memory bank without using any anomalous patterns. We present extensive experiments on the challenging NIH Chest X-rays and MURA dataset, which indicate that our algorithm improves state-of-the-art methods by a wide margin.

研究动机与目标

• 解决因X光影像中长尾分布和罕见异常导致的监督异常检测泛化能力差的问题。
• 通过实现完全自监督训练，减少对昂贵放射科医生标注异常的依赖。
• 改善正常X光图像特征的聚类，以在潜在空间中形成稳健的典型模式。
• 开发一种方法，能够在不因之前见过的罕见类别而过拟合的情况下，泛化到未见的、不平衡的异常。
• 在临床X光数据集上，于无监督和半监督异常检测设置下均实现最先进性能。

提出的方法

• 使用带有卷积编码器和转置解码器的深度自编码器主干网络，学习图像表征与重建结果。
• 维护一个来自正常训练样本的特征嵌入记忆库，用于存储典型正常模式。
• 优化一种自监督损失，通过最小化样本与其在嵌入空间中最近邻之间的相似性分布的熵来实现。
• 引入一种新颖的聚合损失（$\mathcal{L}_{\text{agg}}$），促使相似的正常样本紧密聚集在学习到的原型周围。
• 采用渐进式训练策略，结合对比学习目标与温度缩放的交叉熵损失，以稳定表征学习。
• 通过测试图像特征与记忆库中最具代表性的正常原型之间的加权相似度计算异常分数。

实验结果

研究问题

• RQ1 在不使用标注异常的情况下，利用记忆库进行自监督表示学习是否能提升X光图像的异常检测性能？
• RQ2 与标准对比损失或重建损失相比，所提出的聚合损失在促进典型正常模式形成方面有何增强作用？
• RQ3 与监督或半监督基线方法相比，SALAD在罕见和未见异常上的泛化能力如何？
• RQ4 考虑到SALAD的自监督性质，其性能对训练过程中包含标注异常数据的比例有多敏感？
• RQ5 该方法是否能在无监督和半监督设置下，于NIH和MURA等多个临床X光基准数据集上均实现最先进结果？

主要发现

• 在NIH胸部X光数据集上，SALAD优于所有最先进的无监督和自监督异常检测方法，相较于基线MemDAE，AUC绝对提升5.8%。
• 在MURA数据集上，SALAD相较于现有方法取得显著性能提升，AUC和AUPRC指标均有明显改善。
• 即使在使用标注异常的半监督和监督基线方法（如Deep SAD和ResNet-18）中，SALAD仍表现更优，归因于对罕见类别的过拟合更少。
• 消融研究证实，聚合损失（$\mathcal{L}_{\text{agg}}$）和MSE重建损失（$\mathcal{L}_{\text{mse}}$）均对性能有显著贡献，其中$\mathcal{L}_{\text{agg}}$尤为有效。
• SALAD对标注异常数据比例（最高达15%）的敏感度较低，证实了其鲁棒性与自监督特性。
• 该方法在NIH和MURA数据集的所有学习范式（包括完全无监督和半监督设置）下均达到最先进性能。