[論文レビュー] RadBERT-CL: Factually-Aware Contrastive Learning For Radiology Report Classification

Ajay Jaiswal, Liyan Tang+4 more|PubMed|Oct 28, 2021

Radiology practices and education参考文献 31被引用数 12

ひとこと要約

RadBERT-CL は、否定や不確実性などの重要な医学的ニュアンスを保持する新しいデータ拡張技術を通じて、放射線画像レポート分類を向上させる事実認識型対照的学習フレームワークを導入する。弱いラベルが付与された MIMIC-CXR データで自己教師あり対照的損失を用いて事前学習されたモデルは、限られたラベル付きデータで微調整された際、F1スコアで BERT や CheXbert よりも 6–11% 高い最先端の性能を達成した。

ABSTRACT

Radiology reports are unstructured and contain the imaging findings and corresponding diagnoses transcribed by radiologists which include clinical facts and negated and/or uncertain statements. Extracting pathologic findings and diagnoses from radiology reports is important for quality control, population health, and monitoring of disease progress. Existing works, primarily rely either on rule-based systems or transformer-based pre-trained model fine-tuning, but could not take the factual and uncertain information into consideration, and therefore generate false positive outputs. In this work, we introduce three sedulous augmentation techniques which retain factual and critical information while generating augmentations for contrastive learning. We introduce RadBERT-CL, which fuses these information into BlueBert via a self-supervised contrastive loss. Our experiments on MIMIC-CXR show superior performance of RadBERT-CL on fine-tuning for multi-class, multi-label report classification. We illustrate that when few labeled data are available, RadBERT-CL outperforms conventional SOTA transformers (BERT/BlueBert) by significantly larger margins (6-11%). We also show that the representations learned by RadBERT-CL can capture critical medical information in the latent space.

研究の動機と目的

• 放射線画像レポートにおける否定や不確実性といった事実的ニュアンスを捉えることのできない既存のモデルの限界を解消すること。
• ラベル付き例が少ない低リソース環境下でも、放射線画像レポート分類の性能を向上させること。
• 臨床的事実を保持しつつ、効果的な対照的事前学習を可能にするデータ拡張技術を開発すること。
• 対照的学習が医療テキストにおいて判別力があり、事実認識型の表現を学習できることを示すこと。

提案手法

• 文およびドキュメントレベルで、否定や不確実性マーカーを含む、事実的および不確実な情報を保持する3つの新しいデータ拡張技術を提案する。
• 同じレポートスニペット同士を一致させ、異なるスニペット同士を分離するように、自己教師あり対照的損失を用いて BlueBert を微調整する。
• 拡張処理中に否定的および不確実な文を検出し、保持するための情報保持モジュールを統合する。
• 専門家がラベルを付与したデータに依存せず、弱いラベルが付与された MIMIC-CXR データを用いて事前学習する。
• 同じレポートの異なる拡張ビュー間で一致を最大化し、異なるレポート間で一致を最小化する対照的学習目的関数を採用する。
• マルチクラスおよびマルチラベル分類タスクにおける線形評価と微調整を通じて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 事実保持型データ拡張を用いた対照的学習は、潜在空間における放射線画像レポート表現を改善できるか？
• RQ2 RadBERT-CL は、ラベル付きデータが限られた低リソース環境下で、BERT や CheXbert といった既存の最先端モデルを上回る性能を示すか？
• RQ3 モデルの埋め込み表現は、存在 vs. 不存在、または確実性 vs. 不確実性といった微妙な事実的差異を識別できるか？
• RQ4 提案された対照的事前学習戦略は、手動によるアノテーションを必要とせずに、医学的ニュアンスを効果的に捉えることができるか？

主な発見

• RadBERT-CL は、わずか 400 件のラベル付きレポートで微調整された際、CheXbert よりも重み付き F1 スコアで 6–11% 高く、データが少ない環境下での優れた性能を示した。
• MIMIC-CXR データセットの14の所見のうち11つで最先端の性能を達成し、複数の評価指標において一貫した向上を示した。
• コサイン類似度解析の結果、RadBERT-CL の埋め込み表現は、' consolidation なし' と '明らかな consolidation' のような事実的に異なるレポートスニペットを区別できるが、BERT や BlueBert はその区別に失敗することが分かった。
• 線形評価の結果、微調整を行わなくても、RadBERT-CL は BERT や BlueBert よりもはるかに優れた表現を学習していることが確認された。
• 情報保持モジュールは、拡張処理中に否定的および不確実な文を効果的に保持しており、潜在空間における事実認識の向上に寄与している。
• 小さなサブセットではなく、MIMIC-CXR データセット全体で事前学習を実施することで、より高い性能が得られ、大規模な自己教師ありデータの利点が顕著に現れた。