[論文レビュー] RadGraph: Extracting Clinical Entities and Relations from Radiology Reports

Saahil Jain, Ashwin Agrawal+10 more|arXiv (Cornell University)|Jun 28, 2021

Topic Modeling被引用数 67

ひとこと要約

RadGraphは胸部X線レポートの密度の高い放射線科向け情報抽出スキーマを導入し、注釈付きデータセット（開発・テスト・推論）を公開し、エンティティとリレーション抽出で放射線科医レベルの性能に substantial に近づく深層学習モデル（RadGraph Benchmark）を提供します。

ABSTRACT

Extracting structured clinical information from free-text radiology reports can enable the use of radiology report information for a variety of critical healthcare applications. In our work, we present RadGraph, a dataset of entities and relations in full-text chest X-ray radiology reports based on a novel information extraction schema we designed to structure radiology reports. We release a development dataset, which contains board-certified radiologist annotations for 500 radiology reports from the MIMIC-CXR dataset (14,579 entities and 10,889 relations), and a test dataset, which contains two independent sets of board-certified radiologist annotations for 100 radiology reports split equally across the MIMIC-CXR and CheXpert datasets. Using these datasets, we train and test a deep learning model, RadGraph Benchmark, that achieves a micro F1 of 0.82 and 0.73 on relation extraction on the MIMIC-CXR and CheXpert test sets respectively. Additionally, we release an inference dataset, which contains annotations automatically generated by RadGraph Benchmark across 220,763 MIMIC-CXR reports (around 6 million entities and 4 million relations) and 500 CheXpert reports (13,783 entities and 9,908 relations) with mappings to associated chest radiographs. Our freely available dataset can facilitate a wide range of research in medical natural language processing, as well as computer vision and multi-modal learning when linked to chest radiographs.

研究の動機と目的

• 臨床的に関連する情報を網羅し、アノテータに優しい新規情報抽出スキーマを放射線科レポート用に定義する。
• Denseなエンティティとリレーション抽出を可能にするために、認定放射線科医の注釈付きの開発データセットとテストデータセットを作成する。
• 放射線レポートに対してエンティティとリレーション抽出を同時に行うRadGraph Benchmarkという深層学習モデルを学習・評価する。
• 注釈付きレポートと胸部X線写真を結びつける推論データセットを作成し、マルチモーダル学習を支援する。
• 自由に入手できるデータとモデルを用いて医療NLPおよびマルチモーダル放射線科応用の研究を促進する。

提案手法

• 四つのエンティティタイプ（Anatomy、Observation: Definitely Present、Observation: Uncertain、Observation: Definitely Absent）と三つのリレーションタイプ（Suggestive Of、Located At、Modify）を含むスキーマを提案する。
• 開発のためにMIMIC-CXRから500件のレポートを注釈付けし、14,579エンティティと10,889リレーションを放射線科医が付与する。
• クロス機関の汎化を評価するため、MIMIC-CXRとCheXpertから100件のレポート（各レポートにつき2名の放射線科医）を注釈付けする。
• エンティティ認識とリレーション抽出を共同または個別に学習する深層学習モデルであるRadGraph Benchmarkを開発し、BERTファミリーや様々な生物医学事前学習を用いた実験を行う。
• RadGraph Benchmarkを用いて220,763件のMIMIC-CXRレポートと500件のCheXpertレポートを推論実行し、何百万ものエンティティ/リレーションを生成し、胸部X線写真への対応を作成する。

実験結果

リサーチクエスチョン

• RQ1 放射線科レポートの所見を広くカバーする密度の高い放射線科専用情報抽出スキーマは実現可能か。
• RQ2 現代のNLPモデルは放射線テキストからエンティティとリレーションの両方を放射線科医と同等に抽出できるのか。
• RQ3 機関間（MIMIC-CXR対CheXpert）でエンティティとリレーション抽出の汎化が進むのか。
• RQ4 注釈付きレポートを胸部X線写真に結びつけてマルチモーダル学習を可能にする可能性はあるのか。
• RQ5 統一された放射線スキーマを適用する際の実務的な注釈課題と観察者間のばらつきは何か。

主な発見

• RadGraph BenchmarkはMIMIC-CXRでのリレーション抽出のマイクロF1が0.82、CheXpertで0.73、エンティティ認識はマイクロF1が0.94/0.91（それぞれMIMIC-CXR/CheXpert）を達成する。
• 放射線科医ベンチマークはエンティティ認識で0.95–0.99、リレーション抽出で0.83–0.95のマイクロF1スコアを達成し、両データセットで自動モデルを上回る。
• 推論データセットには220,763件のMIMIC-CXRレポート（約6百万エンティティ、約4百万リレーション）と500件のCheXpertレポート（約13,783エンティティ、約9,908リレーション）を含み、胸部X線写真へのマッピングを提供する。
• スキーマの網羅性はFindingsおよびImpressionセクションの文で高く、開発データでの平均文網羅率は約87.7%、MIMIC-CXRテストで92.3%、CheXpertテストで70.7%の文、50.8%のトークンとなっている。
• 観察者間同意はタスクとデータセットによって異なり、Cohen’s Kappaは0.974（NER, MIMIC-CXR）および0.829（NER, CheXpert）、リレーションKappaは0.841（MIMIC-CXR）と0.397（CheXpert）。
• データセットは米国機関の胸部X線レポートに焦点を当て、非所見セクションからの文脈不足やデータセット間の分布シフトの可能性といった制限を認めている。