[论文解读] Classification of Radiology Reports Using Neural Attention Models

Bonggun Shin, Falgun H. Chokshi+2 more|arXiv (Cornell University)|Aug 22, 2017

Topic Modeling参考文献 27被引用 3

一句话总结

本文提出一种具有新颖注意力机制的卷积神经网络，用于将放射科头颅CT报告分类为五种类别临床类别，其准确率高于传统模型，并提供可解释的热力图，突出显示关键诊断术语。该方法在大规模、双人标注的数据集上提升了分类性能，同时通过基于注意力的推理过程增强了模型的透明度。

ABSTRACT

The electronic health record (EHR) contains a large amount of multi-dimensional and unstructured clinical data of significant operational and research value. Distinguished from previous studies, our approach embraces a double-annotated dataset and strays away from obscure "black-box" models to comprehensive deep learning models. In this paper, we present a novel neural attention mechanism that not only classifies clinically important findings. Specifically, convolutional neural networks (CNN) with attention analysis are used to classify radiology head computed tomography reports based on five categories that radiologists would account for in assessing acute and communicable findings in daily practice. The experiments show that our CNN attention models outperform non-neural models, especially when trained on a larger dataset. Our attention analysis demonstrates the intuition behind the classifier's decision by generating a heatmap that highlights attended terms used by the CNN model; this is valuable when potential downstream medical decisions are to be performed by human experts or the classifier information is to be used in cohort construction such as for epidemiological studies.

研究动机与目标

• 开发一种深度学习模型，其放射科报告分类准确率高于传统非神经网络方法。
• 通过引入注意力机制突出报告中与临床相关的术语，提升模型可解释性。
• 通过使用密集词嵌入和上下文理解，克服基于规则和稀疏向量模型的局限性。
• 在来自意识障碍ICU患者的头颅CT报告大规模双人标注数据集上评估该模型。
• 证明注意力机制可为预测提供推理依据，支持临床决策和队列构建。

提出的方法

• 使用密集词嵌入而非稀疏n-gram表示法对卷积神经网络（CNN）进行训练，以捕捉放射科报告中的语义上下文。
• 在CNN中集成注意力机制，为单个词语分配权重，突出对分类最相关的词语。
• 注意力机制生成热力图，可视化模型在预测过程中关注的术语，从而提供可解释性。
• 在由两名放射科医生标注并由第三人仲裁的500份头颅CT报告大规模双人标注数据集上进行模型训练与评估。
• 定义了五项独立的分类任务：颅内出血、占位效应、中线移位、脑积水和颅骨骨折。
• 在多种超参数配置下进行超参数调优，以优化性能，并根据开发集表现选择最佳模型。

Figure 1: The overview of our CNN model for document classification.

实验结果

研究问题

• RQ1 与传统机器学习模型相比，带有注意力机制的深度学习模型是否能提升放射科报告分类的准确率？
• RQ2 注意力机制是否能通过突出报告中的关键诊断术语，提供有意义且临床上可解释的推理依据？
• RQ3 该模型是否能在某些临床分类任务中实现超越人类评分者间一致性的性能？
• RQ4 在使用深度学习技术时，模型性能如何随数据集规模变化而变化？
• RQ5 注意力热力图是否能有效反映模型在放射科报告预测中的临床推理过程？

主要发现

• 所提出的神经注意力模型（NAM）在五项分类任务上的测试集准确率分别为88.0%、87.5%、85.0%、87.5%和87.0%，优于SVM基线模型。
• 在五项任务中的三项（出血、占位效应和中线移位）中，模型的准确率超过了人类评分者间的一致性评分，表明性能更优。
• 注意力机制成功突出了如“脑实质内出血”和“脑沟变平”等临床相关术语，证明其具备生成可解释推理依据的能力。
• 与非神经网络模型相比，带有注意力机制的CNN平均准确率提升超过3%，尤其在大规模数据集上训练时表现更优。
• 模型的注意力热力图证实，其根据任务聚焦于正确的诊断关键词，验证了其临床相关性。
• 尽管性能相似，NAM模型因具备可解释性而优于标准CNN，因其提供了基于注意力的解释。

(a) Given a document matrix, the attention matrix is first created by performing multiple convolutions. The attention vector is then created by performing max pooling on each row of the attention matrix.