[論文レビュー] MedKLIP: Medical Knowledge Enhanced Language-Image Pre-Training in Radiology

Chaoyi Wu, Xiaoman Zhang+3 more|arXiv (Cornell University)|Jan 5, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

MedKLIPは、レポートから医療トリプレットを抽出し、知識ベースを用いて記述を拡張し、トランスフォーマーに基づく統合モデルを介して画像パッチと一致させることで、レントゲン画像のための医療知識強化型ビジョン・ランゲージ事前学習フレームワークを提案する。これにより、ゼロショットおよび微調整済みの疾患分類とグランドイングが向上する。複数のベンチマークで最先端の性能を達成しており、RSNA Pneumoniaでは0.87のポイントイングゲームスコア、未学習のCovid-19グランドイングでは0.58を記録した。

ABSTRACT

In this paper, we consider enhancing medical visual-language pre-training (VLP) with domain-specific knowledge, by exploiting the paired image-text reports from the radiological daily practice. In particular, we make the following contributions: First, unlike existing works that directly process the raw reports, we adopt a novel triplet extraction module to extract the medical-related information, avoiding unnecessary complexity from language grammar and enhancing the supervision signals; Second, we propose a novel triplet encoding module with entity translation by querying a knowledge base, to exploit the rich domain knowledge in medical field, and implicitly build relationships between medical entities in the language embedding space; Third, we propose to use a Transformer-based fusion model for spatially aligning the entity description with visual signals at the image patch level, enabling the ability for medical diagnosis; Fourth, we conduct thorough experiments to validate the effectiveness of our architecture, and benchmark on numerous public benchmarks, e.g., ChestX-ray14, RSNA Pneumonia, SIIM-ACR Pneumothorax, COVIDx CXR-2, COVID Rural, and EdemaSeverity. In both zero-shot and fine-tuning settings, our model has demonstrated strong performance compared with the former methods on disease classification and grounding.

研究の動機と目的

• 既存の医療ビジョン・ランゲージ事前学習モデルがドメイン固有の医療知識を無視し、構造のないレポートに依存するという限界を是正すること。
• 事前学習プロセスに細分化された医療知識を統合することで、ゼロショットおよびフェイントショットの疾患分類と視覚的グランドイングを向上させること。
• エンティティレベルの監視を介して予測のための空間的に整合した視覚的証拠を提供することにより、モデルの説明可能性を向上させること。
• 未学習の疾患や低データ環境においても一般化しやすい、強力な知識拡張型表現学習フレームワークの開発

提案手法

• 生レポートを（エンティティ、位置、存在）の構造的トリプレットに分解するためのトリプレット抽出モジュールを導入し、言語的複雑性を低減しながらも臨床的意味を保持する。
• 医療エンティティを詳細で標準化された記述に翻訳するための知識ベースを照会し、ドメイン固有の知識をテキスト埋め込みに統合する。
• トランスフォーマーに基づく統合モジュールが画像領域とエンティティ記述の間でパッチレベルの整合性を実現し、局所的監視と視覚的グランドイングを可能にする。
• MIMIC-CXRデータセットを用いて、画像パッチと拡張済みテキスト埋め込みの間で対照的学習を実施し、事前学習を実施。その後、下流タスクでの微調整を実施。
• ゼロショットおよび微調整推論をサポートし、ChestX-ray14、RSNA Pneumonia、SIIM-ACR Pneumothoraxを含む複数の公開ベンチマークで評価

Figure 1 : Our method mainly considers combining medical knowledge with VLP. We propose Triplet Extraction and Entity Translation modules, so that the network can be supervised with detailed entity-level signals.

実験結果

リサーチクエスチョン

• RQ1 レントゲン画像レポートからの構造的医療トリプレット抽出は、ビジョン・ランゲージ事前学習における監視信号の質を向上させることができるか？
• RQ2 エンティティ翻訳を介して外部医療知識を統合することで、未学習疾患へのゼロショット一般化が向上するか？
• RQ3 画像領域と医療エンティティ記述の間でパッチレベルの整合性を実現することで、視覚的グランドイングの正確性とモデルの説明可能性が向上するか？
• RQ4 多様なレントゲン画像タスクにおいて、低データ環境およびゼロショット設定で、知識強化型事前学習は標準的なVLP手法に比べて優れているか？

主な発見

• RSNA Pneumoniaデータセットにおいて、MedKLIPはポイントイングゲームスコアを0.83から0.87に向上させ、ゼロショットグランドイングの検出精度も0.50から0.64に向上させた。
• 未学習疾患検出（Covid-19）において、MedKLIPは0.58のポイントイングゲームスコアを達成し、前例の最先端の0.40から顕著な向上を示した。
• ゼロショット分類において、MedKLIPはChestX-ray14、SIIM-ACR Pneumothorax、COVIDx CXR-2を含む、すべての評価ベンチマークで既存手法を上回った。
• 微調整を施した場合、MedKLIPはすべての分類タスクで最先端のAUCスコアを達成し、特に1%および10%のデータ量の低データ環境下でも高いデータ効率を示した。
• セグメンテーションタスクにおいて、MedKLIPは既存の最先端手法を大きく上回り、特に挑戦的な気胸および透明度低下部位の局在化タスクで顕著な優位性を示した。
• 新規のスコアリングタスクにおいて、MedKLIPは全重症度レベル（0–3）で最高のマクロ平均AUC、F1、正答率スコアを達成し、細分化された疾患評価における優れた性能を示した。

Figure 2 : The whole framework of our method. We first pre-process the report into triplets leveraging triplet extraction module. Then we encode the extracted triplets and it is worth emphasizing that we translate the entities into detailed descriptions during encoding, by querying the medical knowl