[论文解读] Learning to diagnose from scratch by exploiting dependencies among labels

Yao Li, Eric Poblenz+4 more|arXiv (Cornell University)|Oct 28, 2017

COVID-19 diagnosis using AI参考文献 21被引用 195

一句话总结

本文从头开始训练胸部X光诊断模型，使用 DenseNet 编码器和基于 LSTM 的解码器来建模14个异常之间的依赖关系，在未在 ImageNet 预训练的情况下达到最先进的结果。

ABSTRACT

The field of medical diagnostics contains a wealth of challenges which closely resemble classical machine learning problems; practical constraints, however, complicate the translation of these endpoints naively into classical architectures. Many tasks in radiology, for example, are largely problems of multi-label classification wherein medical images are interpreted to indicate multiple present or suspected pathologies. Clinical settings drive the necessity for high accuracy simultaneously across a multitude of pathological outcomes and greatly limit the utility of tools which consider only a subset. This issue is exacerbated by a general scarcity of training data and maximizes the need to extract clinically relevant features from available samples -- ideally without the use of pre-trained models which may carry forward undesirable biases from tangentially related tasks. We present and evaluate a partial solution to these constraints in using LSTMs to leverage interdependencies among target labels in predicting 14 pathologic patterns from chest x-rays and establish state of the art results on the largest publicly available chest x-ray dataset from the NIH without pre-training. Furthermore, we propose and discuss alternative evaluation metrics and their relevance in clinical practice.

研究动机与目标

• 解决具有多种相关异常的胸部X光多标签诊断问题。
• 消除对预训练的依赖，以减少偏差并提高临床相关性。
• 利用标签之间的依赖关系提升所有目标的预测性能。
• 引入超越传统 BLEU 类分数的具有临床意义的评估指标。

提出的方法

• 使用密集连接的 DenseNet 风格图像编码器来处理高分辨率胸部X光图像。
• 使用循环神经网络解码器预测多种异常以捕捉标签依赖。
• 在每一步应用基于 Sigmoid 的解码，以允许每种异常的存在/不存在，而无需预定义的结束标记。
• 从零开始端到端训练，且不进行 ImageNet 预训练。
• 尝试两种依赖感知解码变体，并比较标签预测的排序顺序。

实验结果

研究问题

• RQ1 在从零开始训练时，带有标签依赖感知的解码器能否提升多标签胸部X光诊断的表现？
• RQ2 在标签之间纳入条件依赖对预测性能有何影响？
• RQ3 当有足够的训练数据时，依赖建模中不同的标签排序是否会影响性能？

主要发现

• 一个具有独立标签且从零开始训练的基线模型超越了预训练的最先进方法。
• 建模标签之间的依赖在多个指标上带来改进（NLL、DICE、PESS、PCSS）。
• 当模型训练充分时，标签依赖的排序影响很小。
• 该方法在 ChestX-ray8 数据集上，与上方法相比，在每个异常的 AUC 更高。