[論文レビュー] A self-supervised text-vision framework for automated brain abnormality detection

David Wood, Emily Guilhem+14 more|arXiv (Cornell University)|May 5, 2024

Brain Tumor Detection and Classification被引用数 4

ひとこと要約

本論文は、事前にラベル付けされた分類データを必要とせず、自由記述のレントゲン報告書を活用してMRI画像における脳疾患を検出する自己教師ありテキスト・ビジョンフレームワークを提案する。NeuroBERTを訓練して報告書を埋め込み表現に変換し、対照的学習によりMRI画像とこれらのテキスト埋め込みを一致させることで、クエリ文を用いたゼロショット異常検出を可能にし、脳卒中や水腫頭症などの疾患を高い正確性で同定する。

ABSTRACT

Artificial neural networks trained on large, expert-labelled datasets are considered state-of-the-art for a range of medical image recognition tasks. However, categorically labelled datasets are time-consuming to generate and constrain classification to a pre-defined, fixed set of classes. For neuroradiological applications in particular, this represents a barrier to clinical adoption. To address these challenges, we present a self-supervised text-vision framework that learns to detect clinically relevant abnormalities in brain MRI scans by directly leveraging the rich information contained in accompanying free-text neuroradiology reports. Our training approach consisted of two-steps. First, a dedicated neuroradiological language model - NeuroBERT - was trained to generate fixed-dimensional vector representations of neuroradiology reports (N = 50,523) via domain-specific self-supervised learning tasks. Next, convolutional neural networks (one per MRI sequence) learnt to map individual brain scans to their corresponding text vector representations by optimising a mean square error loss. Once trained, our text-vision framework can be used to detect abnormalities in unreported brain MRI examinations by scoring scans against suitable query sentences (e.g., 'there is an acute stroke', 'there is hydrocephalus' etc.), enabling a range of classification-based applications including automated triage. Potentially, our framework could also serve as a clinical decision support tool, not only by suggesting findings to radiologists and detecting errors in provisional reports, but also by retrieving and displaying examples of pathologies from historical examinations that could be relevant to the current case based on textual descriptors.

研究の動機と目的

• 医療画像における教師あり学習の限界を克服すること。特に、大規模な専門家ラベル付きデータセットが高コストであり、分類が固定されたクラスに制限されること。
• 自由記述の神経放射線報告書に含まれる豊富で非構造的な情報を活用し、臨床的に意味のある表現を学習するフレームワークを開発すること。
• 自然言語クエリを用いて、報告書のないMRIスキャンにおける脳異常をゼロショットで検出できること。
• テキスト的記述に基づいて関連する過去の症例を検索することで、臨床意思決定支援を支援すること。

提案手法

• 50,523件の神経放射線報告書を用いて訓練されたドメイン特化型自己教師あり言語モデル、NeuroBERTを用いて固定次元のベクトル埋め込みを生成する。
• 畳み込みニューラルネットワーク（CNN）を用いて、個々のMRIシーケンスを対応するテキスト埋め込みにマップさせる。損失関数には平均二乗誤差を使用する。
• 対照的学習を用いて画像表現とテキスト表現を一致させ、未学習のスキャンに対してもゼロショット推論を可能にする。
• 学習済み埋め込み類似度を用いて、MRIスキャンを事前に定義されたクエリ文（例：「急性脳卒中がある」）と照合することで異常を検出する。
• テキスト的記述に基づいて類似する過去の症例を検索することで、臨床意思決定支援を提供する。
• スキャンラベルの手動ラベリングを不要とし、報告書テキストの教師信号に依存する。

実験結果

リサーチクエスチョン

• RQ1 放射線科報告書に対する自己教師あり学習が、手動ラベルなしで脳MRI異常検出のための有効な表現学習を可能にするか？
• RQ2 自然言語クエリのみを用いて、報告書のないMRIスキャンにおける臨床的に関連する異常をテキスト・ビジョンフレームワークがどの程度正確に検出できるか？
• RQ3 病変の記述に基づくテキスト記述から、関連する過去の症例をどの程度正確に検索できるか？
• RQ4 ゼロショット推論により、まれな疾患やこれまでにない病変にもフレームワークが一般化可能か？
• RQ5 一般的な脳異常を検出する際、本フレームワークの性能は教師ありベースラインと比べてどうか？

主な発見

• 本フレームワークは、事前にラベル付けされた画像データセットを必要とせず、自然言語クエリのみで脳異常のゼロショット検出を可能にする。
• 参照報告書との意味的類似度に基づき、急性脳卒中や水腫頭症といった重要な病変を高い性能で同定する。
• 報告書埋め込みにNeuroBERTを用いることで、汎用的BERTモデルと比較して表現品質が著しく向上する。
• テキスト的記述に基づいて関連する過去のMRI症例を正確に検索でき、臨床意思決定支援に貢献する。
• 報告書のないスキャンに対しても、異常検出において堅牢な性能を示す。
• 学習済み埋め込みと照合することで、暫定報告書の自動トリアージと誤り検出が可能になる。