[論文レビュー] Improving Zero-Shot Detection of Low Prevalence Chest Pathologies using Domain Pre-trained Language Models

Aakash Mishra, Rajat Mittal+3 more|arXiv (Cornell University)|Jun 13, 2023

COVID-19 diagnosis using AI被引用数 5

ひとこと要約

本論文では、ゼロショット胸部X線病変検出におけるCLIPベースのテキストタワーを、ドメイン事前学習済み言語モデル（例：CXR-BERT、ClinicalBERT）に置き換えることで、低発症率病変の性能向上を提案する。一般的な疾患では性能が低下するが、肺腫瘍や鎖骨骨折のような希少疾患において、最大0.15のAUC向上を達成し、リソースが限られた状況下での優位性を示している。

ABSTRACT

Recent advances in zero-shot learning have enabled the use of paired image-text data to replace structured labels, replacing the need for expert annotated datasets. Models such as CLIP-based CheXzero utilize these advancements in the domain of chest X-ray interpretation. We hypothesize that domain pre-trained models such as CXR-BERT, BlueBERT, and ClinicalBERT offer the potential to improve the performance of CLIP-like models with specific domain knowledge by replacing BERT weights at the cost of breaking the original model's alignment. We evaluate the performance of zero-shot classification models with domain-specific pre-training for detecting low-prevalence pathologies. Even though replacing the weights of the original CLIP-BERT degrades model performance on commonly found pathologies, we show that pre-trained text towers perform exceptionally better on low-prevalence diseases. This motivates future ensemble models with a combination of differently trained language models for maximal performance.

研究の動機と目的

• 画像レポートのアライメントデータセットにおける露出が限られるため、低発症率胸部病変のゼロショット性能が低いという課題に対処すること。
• テキストタワーのドメイン特化型事前学習が、希少病変のゼロショット検出性能を向上させることを調査すること。
• CLIPの汎用的テキストエンコーダーを医療ドメイン特化モデルに置き換えた際の、一般的な疾患と希少疾患の間での性能トレードオフを評価すること。
• ドメイン事前学習済みテキストエンコーダーが、リソースが限られたゼロショット医療画像認識シナリオにおいて、標準的なCLIPベースのモデルを上回る性能を示すかどうかを特定すること。

提案手法

• CheXzeroにおけるCLIPテキストタワーを、CXR-BERT、BlueBERT、ClinicalBERTといったドメイン事前学習済み言語モデルに置き換える。これらはMIMIC-CXRでファインチューニング済みである。
• コントラスト学習を用いて、コントラスト損失関数を通じて画像とテキストの埋め込みをアライメントさせる。5エポック、バッチサイズ32、ベースの初期学習率5e-6で訓練する。
• すべてのテキストエンコーダーに対して、視覚タワーとの互換性を保つために、学習可能なプロジェクションヘッドを用いて最終埋め込み次元を128に標準化する。
• VinDr-CXRデータセットに対してゼロショット推論を実施し、ポジティブおよびネガティブプロンプトを用いてログチの計算を行い、病変の確率予測を行う。
• AUCを主評価指標として、12の病変に対して、CLIP重みで初期化されたCheXzeroベースラインと性能を比較する。
• ブートストラップ信頼区間を用いて、病変ごとの性能差の統計的有意性を評価する。

実験結果

リサーチクエスチョン

• RQ1 CLIPテキストタワーをドメイン事前学習済み言語モデルに置き換えることで、低発症率胸部X線病変のゼロショット検出性能が向上するか？
• RQ2 テキストエンコーダーにおけるドメイン特化型事前学習は、CLIPベースラインと比較して、高発症率病変の性能を低下させるか？
• RQ3 MIMIC-CXRトレーニングセットで100件未満の言及がある病変において、CXR-BERT や ClinicalBERT といったドメイン事前学習済みテキストエンコーダーが、CLIPベースラインをどの程度上回るか？
• RQ4 アライメントデータにあまり言及がなかったとしても、ドメイン事前学習済みテキストエンコーダーは希少病変に効果的に一般化できるか？
• RQ5 ドメイン事前学習済みと汎用的テキストエンコーダーを組み合わせる戦略が、一般的な疾患と希少疾患の両方の性能を最大化するために有効であるか？

主な発見

• CXR-BERTは、MIMIC-CXRトレーニングセットでたった1回しか言及がなかった肺腫瘍において、ベースラインより0.15のAUC向上を達成した。
• ClinicalBERTは、すべての低発症率病変において平均して0.08のAUC向上を達成した。
• 鎖骨骨折（69件の言及）において、CXR-BERTはAUC 0.853を達成し、ベースラインの0.664を著しく上回った。
• 肺炎や胸水症といった高発症率病変においては、CheXzeroベースラインがCXR-BERTおよびClinicalBERTを平均して0.05～0.12のAUC向上で上回った。
• BlueBERTはすべての病変で性能が低く、すべてのドメイン事前学習モデルが利益をもたらすわけではないことが示され、モデル選定の重要性が浮き彫りになった。
• 結果から、ドメイン事前学習済みテキストエンコーダーは、PubMed や MIMIC-III といった医療コーパスでの広範な露出のおかげで、希少病変に対して特に効果的であることが示唆された。