[論文レビュー] Pneumonia Detection on Chest X-ray using Radiomic Features and Contrastive Learning

Yan Han, Chongyan Chen+3 more|arXiv (Cornell University)|Jan 12, 2021

COVID-19 diagnosis using AI参考文献 20被引用数 5

ひとこと要約

本論文は、レントゲン画像の診断精度と解釈可能性を向上させるために、画像特徴と放射線学的特徴（radiomic features）を統合した新規の肺炎検出フレームワークを提案する。畳み込みニューラルネットワーク（CNN）が学習する画像特徴と、手作業で抽出された放射線学的特徴を対照的損失（contrastive loss）で整合させることで、RSNAデータセットにおいて92.7%のF1スコアを達成。これはベースラインモデルより10ポイント以上高い。また、肺炎に影響を受ける領域への注目度が向上し、解釈可能性も向上した。

ABSTRACT

Chest X-ray becomes one of the most common medical diagnoses due to its noninvasiveness. The number of chest X-ray images has skyrocketed, but reading chest X-rays still have been manually performed by radiologists, which creates huge burnouts and delays. Traditionally, radiomics, as a subfield of radiology that can extract a large number of quantitative features from medical images, demonstrates its potential to facilitate medical imaging diagnosis before the deep learning era. With the rise of deep learning, the explainability of deep neural networks on chest X-ray diagnosis remains opaque. In this study, we proposed a novel framework that leverages radiomics features and contrastive learning to detect pneumonia in chest X-ray. Experiments on the RSNA Pneumonia Detection Challenge dataset show that our model achieves superior results to several state-of-the-art models (> 10% in F1-score) and increases the model's interpretability.

研究の動機と目的

• レントゲン画像の解釈における診断効率の低さと放射線科医の作業負荷の高さという課題に対処する。
• 医療画像におけるディープラーニングモデルのブラックボックス性を、説明可能な放射線学的特徴を統合することで克服する。
• テキストレポートが不要な状態で、画像特徴と関心領域（ROIs）からの放射線学的特徴を対照的学習により一致させる。
• ドメイン特化の放射線学的知識とディープラーニング特徴を統合することで、モデルの性能と解釈可能性を向上させる。
• 弱教師あり学習の今後の拡張において、高コストなアノテーションに依存することを減らすために、未ラベルデータの有効活用を可能にする対照的表現学習を活用する。

提案手法

• 標準的な放射線学的パイプラインを用いて、レントゲン画像の手作業による関心領域（ROIs）から放射線学的特徴を抽出する。
• 注目機構（attention mechanism）を備えたResNet-18ベースのCNNを訓練し、レントゲン画像から画像レベルの表現を学習する。
• 正例ペア（画像とその対応する放射線学的特徴）間で一致を最大化し、負例ペア（ランダムな画像-放射線学的特徴ペア）間で一致を最小化するため、双方向の対照的損失を適用する。
• 大規模な未ラベルレントゲン画像セットとその放射線学的特徴を用いて、対照的学習による事前学習を実施する。
• RSNA肺炎検出チャレンジデータセット上で、モデルをエンドツーエンドに微調整し、肺炎分類を実行する。
• 注目マップを可視化して、モデルの生物学的に関連する領域への注目度を評価・検証し、解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 放射線学的特徴とディープラーニングを統合することで、レントゲン画像における肺炎検出の性能が向上するか？
• RQ2 画像特徴と放射線学的特徴の間の対照的学習が、医療画像における表現学習をどのように向上させるか？
• RQ3 標準的なディープラーニングモデルと比較して、提案フレームワークはどの程度モデルの解釈可能性を向上させるか？
• RQ4 関心領域（ROI）ベースの放射線学的特徴と、全体画像からの放射線学的特徴とを比較した場合、性能にどのような差が生じるか？
• RQ5 将来的な拡張において、弱教師あり学習を用いることで、専門家がアノテートしたボクシングボックスに依存することを減らしながら、高い性能を維持できるか？

主な発見

• 提案されたResNet-18AttRadiモデルは、RSNA肺炎検出チャレンジデータセットで92.7%のF1スコアを達成し、ResNet-18（78.2%）およびResNet-18Att（82.6%）を10ポイント以上上回った。
• 放射線学的特徴を組み込んだモデル（ResNet-18AttRadi）はAUCが0.923を記録し、ベースラインのResNet-18（0.795）よりも顕著に高い値を示した。
• ROIではなく全体画像から放射線学的特徴を抽出した場合でも、F1スコアは5.8ポイント上昇（82.6%から88.4%に）し、放射線学的特徴の価値を裏付けた。
• ResNet-18AttRadiモデルの注目マップは、肺炎に影響を受ける領域への注目度を、標準的なResNet-18Attモデルよりもより正確に局在化しており、ノイズが減少していた。
• 対照的学習の事前学習段階では、損失関数の収束が急速に進行しており、数エポックで効率的かつ効果的な特徴学習が実現していることが示された。
• アブレーションスタディにより、放射線学的特徴と対照的学習の組み合わせが、ボクシングボックスのアノテーションがなくても性能向上に相乗効果をもたらすことが確認された。