[论文解读] FRODO: Free rejection of out-of-distribution samples: application to chest x-ray analysis

Erdi Çallı, Keelin Murphy+2 more|arXiv (Cornell University)|Apr 16, 2019

COVID-19 diagnosis using AI被引用 2

一句话总结

本文提出FRODO，一种新颖方法，通过在预训练ResNet-50模型的中间特征激活上使用马氏距离，检测分布外（OOD）的胸部X光片。该方法无需额外训练数据，即可在区分分布内与分布外样本方面实现0.99的AUC，展现出在各种解剖结构和方向错误情况下的强大泛化能力。

ABSTRACT

In this work, we propose a method to reject out-of-distribution samples which can be adapted to any network architecture and requires no additional training data. Publicly available chest x-ray data (38,353 images) is used to train a standard ResNet-50 model to detect emphysema. Feature activations of intermediate layers are used as descriptors defining the training data distribution. A novel metric, FRODO, is measured by using the Mahalanobis distance of a new test sample to the training data distribution. The method is tested using a held-out test dataset of 21,176 chest x-rays (in-distribution) and a set of 14,821 out-of-distribution x-ray images of incorrect orientation or anatomy. In classifying test samples as in or out-of distribution, our method achieves an AUC score of 0.99.

研究动机与目标

• 解决分布外（OOD）医学影像检测的挑战，这些影像可能误导诊断模型。
• 开发一种无需额外训练数据或架构修改即可检测OOD样本的方法。
• 仅使用分布内训练数据，在临床影像处理流程中实现稳健的OOD检测。
• 在真实世界中的OOD案例（如X光片方向错误、异常解剖结构）上评估该方法的性能。

提出的方法

• 该方法使用预训练ResNet-50模型中间层的特征激活作为分布内数据的描述符。
• FRODO通过计算测试样本特征向量与训练特征分布之间的马氏距离，来衡量其为OOD的可能性。
• 利用ResNet-50中间层激活特征的协方差矩阵对训练数据分布进行建模。
• 该方法与网络架构无关，可通过提取中间特征应用于任意深度神经网络。
• 使用马氏距离的阈值将样本分类为分布内或分布外。

实验结果

研究问题

• RQ1 一种方法能否在无需额外训练数据的情况下检测分布外的胸部X光片？
• RQ2 在中间特征上使用马氏距离在区分分布外与分布内X光片方面表现如何？
• RQ3 该方法能否泛化到各种分布外情况，如解剖结构错误或图像方向错误？
• RQ4 该方法在OOD检测方面的AUC性能如何？

主要发现

• FRODO在区分分布内与分布外的胸部X光片方面实现了0.99的AUC，表明其具有极佳的判别性能。
• 该方法成功检测到如解剖方向错误或异常解剖结构等分布外样本。
• 该方法无需额外训练数据，仅依赖预训练的ResNet-50及其中间特征统计量。
• 在医学影像中，使用特征激活上的马氏距离进行OOD检测被证明极为有效。