[論文レビュー] Indication as Prior Knowledge for Multimodal Disease Classification in Chest Radiographs with Transformers

Grzegorz Jacenków, Alison Q. O’Neil+1 more|arXiv (Cornell University)|Feb 12, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 7

ひとこと要約

本論文では、画像の診断前における自由記述形式の臨床的所見フィールドを事前知識として活用することで、チークX線画像の疾患分類を向上させるマルチモーダルトランスフォーマー・モデルを提案する。ResNet-152から得られる画像特徴量と、ユニモーダルなBERTモデルを微調整することで、MIMIC-CXRで87.8%の平均マイクロAUROCを達成し、先行するユニモーダル（84.4%）およびマルチモーダル（86.0%）手法を上回った。

ABSTRACT

When a clinician refers a patient for an imaging exam, they include the reason (e.g. relevant patient history, suspected disease) in the scan request; this appears as the indication field in the radiology report. The interpretation and reporting of the image are substantially influenced by this request text, steering the radiologist to focus on particular aspects of the image. We use the indication field to drive better image classification, by taking a transformer network which is unimodally pre-trained on text (BERT) and fine-tuning it for multimodal classification of a dual image-text input. We evaluate the method on the MIMIC-CXR dataset, and present ablation studies to investigate the effect of the indication field on the classification performance. The experimental results show our approach achieves 87.8 average micro AUROC, outperforming the state-of-the-art methods for unimodal (84.4) and multimodal (86.0) classification. Our code is available at https://github.com/jacenkow/mmbt.

研究の動機と目的

• 画像の診断理由を記述する臨床的テキスト（所見フィールド）を活用することで、マルチモーダルなチークX線画像分類を向上させること。
• ユニモーダルに事前学習されたBERTが、画像特徴量と微調整された際にマルチモーダルな相互作用を効果的に学習できるかを評価すること。
• 一般的なテキスト誤り（タイポ、同義語の使用、所見フィールドの欠落など）に対して、モデルのロバストネスを評価すること。
• 既存の非侵襲的臨床情報のみを用いて、マルチモーダル疾患分類の強力なベースラインを確立すること。

提案手法

• 画像をResNet-152分類器から得た特徴量でエンコードした双方向入力（画像・テキスト）に対して、ユニモーダルに事前学習されたBERTモデルを微調整する。
• 放射線画像レポートに含まれる所見フィールドを、注意メカニズムのガイドとしての臨床的事前知識の源として活用し、分類性能を向上させる。
• マルチモーダルBERT（MMBT）アーキテクチャを用い、画像とテキストの埋め込みをクロスアテンション機構を介して共同処理する。
• マルチラベル分類損失を用いて、MIMIC-CXRデータセット上でエンドツーエンドにモデルを訓練する。
• 敵対的摂動（文字交換、キーボードタイポ、同義語置換、欠落／交換入力）を用いてロバストネスを評価する。
• 画像とテキストの特徴量を別々に処理した後、トランスフォーマー・エンコーダーで統合するラテント・ファージョン戦略を採用する。

Fig. 1 : We consider the problem of classifying chest X-ray images given the patient information in a free-text form. We only use knowledge about the patient collected before the imaging examination and do not require radiologist intervention as opposed to most prior studies.

実験結果

リサーチクエスチョン

• RQ1 ユニモーダルに事前学習されたBERTモデルは、画像特徴量と組み合わせて微調整された際に、チークX線画像と臨床的所見テキストの間でマルチモーダルな相互作用を効果的に学習できるか？
• RQ2 所見フィールドを事前知識として組み込むことで、画像のみまたはラテントファージョンベースラインと比較して分類性能が向上するか？
• RQ3 タイポ、同義語の使用、所見フィールドの欠落といった一般的なテキスト誤りに対して、モデルはどの程度ロバストか？
• RQ4 他の患者のテキストと矛盾する所見が与えられた場合、モデルの性能は著しく低下するか？
• RQ5 所見フィールドが欠落している場合、画像のみのベースラインと同等の性能を維持できるか？

主な発見

• 提案手法はMIMIC-CXRデータセットで87.8%の平均マイクロAUROCを達成し、以前の最先端ユニモーダル（84.4%）およびマルチモーダル（86.0%）手法を上回った。
• タイポに対して強いロバストネスを示し、キーボードタイポ条件下でもマイクロAUROCが最大-1.7%まで低下したにとどまった。
• 所見フィールドが欠落している、またはストップワードに置き換えられている場合、モデルの性能はResNet-50の画像のみベースラインに一致するようになり、利用可能なテキスト入力に依存していることが示された。
• 別の患者のテキストに置き換えた場合、マイクロAUROCで-9.8%、マクロAUROCで-16.6%の著しい性能低下が観察され、モデルが両モodalを統合して意思決定していることが確認された。
• 14疾患すべてにおいて高い性能を維持しており、『補助装置』で最高のAUROC 92.2%、『胸水』で88.6%を記録した。
• 本手法は、所見フィールドからの臨床的事前知識が、微調整されたBERTベースアーキテクチャによって、チークX線画像分類の診断精度を向上させるために効果的に活用可能であることを示した。

Fig. 2 : The overview of method. We extend a multi-layer transformer pre-trained on textual data with imaging input. The images are provided as features extracted from a ResNet-50 network. The features are reshaped to 49 vectors of 2048 dimensions each and combined with two embeddings describing seg