[論文レビュー] Classification of Radiology Reports Using Neural Attention Models

Bonggun Shin, Falgun H. Chokshi+2 more|arXiv (Cornell University)|Aug 22, 2017

Topic Modeling参考文献 27被引用数 3

ひとこと要約

本論文では、画像診断用頭部CTレポートを5つの臨床的カテゴリーに分類するための畳み込みニューラルネットワーク（CNN）を提案し、従来のモデルよりも高い精度を達成するとともに、重要な診断用語を強調する解釈可能なヒートマップを提供する。この手法は、大規模で二重アノテート済みのデータセット上で分類性能を向上させるとともに、注目メカニズムに基づく根拠を用いることでモデルの透明性を高めている。

ABSTRACT

The electronic health record (EHR) contains a large amount of multi-dimensional and unstructured clinical data of significant operational and research value. Distinguished from previous studies, our approach embraces a double-annotated dataset and strays away from obscure "black-box" models to comprehensive deep learning models. In this paper, we present a novel neural attention mechanism that not only classifies clinically important findings. Specifically, convolutional neural networks (CNN) with attention analysis are used to classify radiology head computed tomography reports based on five categories that radiologists would account for in assessing acute and communicable findings in daily practice. The experiments show that our CNN attention models outperform non-neural models, especially when trained on a larger dataset. Our attention analysis demonstrates the intuition behind the classifier's decision by generating a heatmap that highlights attended terms used by the CNN model; this is valuable when potential downstream medical decisions are to be performed by human experts or the classifier information is to be used in cohort construction such as for epidemiological studies.

研究の動機と目的

• 従来の非ニューラル手法よりも高い精度でレポート分類を行う深層学習モデルの開発。
• 注目メカニズムを導入することで、レポート内の臨床的に関連する用語を強調し、モデルの解釈性を向上させること。
• ルールベースおよびスパースベクトルモデルの限界を克服するため、密度型の単語埋め込みと文脈理解を活用すること。
• 意識障害を呈するICU患者の頭部CTレポートから構成される大規模で二重アノテート済みのデータセット上でモデルを評価すること。
• 注目メカニズムが予測の根拠を提供できることを示し、臨床意思決定やコhort構築を支援すること。

提案手法

• レポートの意味的文脈を捉えるために、スパースなn-gram表現の代わりに密度型の単語埋め込みを用いた畳み込みニューラルネットワーク（CNN）を訓練する。
• 個々の単語に重みを割り当て、分類に最も関連する語を強調するため、CNNに注目メカニズムを統合する。
• 注目メカニズムは、予測時にモデルが注目する語を可視化するヒートマップを生成し、解釈可能性を提供する。
• 2名の放射線科医がアノテートし、第三者による仲裁を経た500件の頭部CTレポートから構成される大規模で二重アノテート済みのデータセット上でモデルを訓練および評価する。
• 5つの明確な分類タスクを定義する：脳内出血、質量効果、中線シフト、水腫頭症、頭蓋骨骨折。
• 複数の構成でハイパーパrameterチューニングを実施し、開発セットの性能に基づいて最良のモデルを選定する。

Figure 1: The overview of our CNN model for document classification.

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムを備えた深層学習モデルは、従来の機械学習モデルと比較して、レポート分類の精度を向上させることができるか？
• RQ2 注目メカニズムは、レポート内の重要な診断用語を強調することで、意味的かつ臨床的に解釈可能な根拠を提供できるか？
• RQ3 特定の臨床的分類タスクにおいて、モデルの性能が人間の評価者間一致スコアを上回ることができるか？
• RQ4 深層学習手法を用いた場合、データセットサイズが増加するにつれてモデルの性能はどのように変化するか？
• RQ5 注目ヒートマップは、レポート分類におけるモデルの臨床的推論を効果的に反映できるか？

主な発見

• 提案されたニューラル注目モデル（NAM）は、5つの分類タスクにおいてテストセットで88.0%、87.5%、85.0%、87.5%、87.0%の精度を達成し、SVMベースラインを上回った。
• 出血、質量効果、中線シフトの3つのタスクにおいて、モデルの精度が人間の評価者間一致スコアを上回り、優れた性能を示した。
• 注目メカニズムは、「脳実質内出血」や「溝の消失」などの臨床的に関連する用語を効果的に強調し、解釈可能な根拠を生成できる能力を示した。
• CNNに注目メカニズムを組み込んだモデルは、非ニューラルモデルと比較して平均で3%以上高い性能を示し、特に大規模なデータセットで学習した場合に顕著であった。
• モデルの注目ヒートマップは、タスクに応じて正しい診断キーワードに注目していることを確認しており、臨床的妥当性が裏付けられた。
• NAMモデルは、性能が標準CNNとほぼ同等であったにもかかわらず、解釈可能性の観点から好まれた。これは、注目に基づく説明を提供するからである。

(a) Given a document matrix, the attention matrix is first created by performing multiple convolutions. The attention vector is then created by performing max pooling on each row of the attention matrix.