[論文レビュー] Using Radiomics as Prior Knowledge for Thorax Disease Classification and Localization in Chest X-rays

Yan Han, Chongyan Chen+8 more|PubMed|Nov 25, 2020

Radiomics and Machine Learning in Medical Imaging参考文献 24被引用数 13

ひとこと要約

本論文は、レントゲン画像における胸部疾患の分類および局在化を向上させるために、放射線学的特徴量（radiomics features）をソフト制約として統合するエンドツーエンドのディーブラーニングフレームワーク、ChexRadiNetを提案する。三つの公的データセット上で、三重アテンション機構と放射線学的特徴量を用いた反復的精錬を活用することで、分類のAUCが0.843、局在化のT(IoU)=0.1が0.679に達し、最先端の性能を達成した。

ABSTRACT

Chest X-ray becomes one of the most common medical diagnoses due to its noninvasiveness. The number of chest X-ray images has skyrocketed, but reading chest X-rays still have been manually performed by radiologists, which creates huge burnouts and delays. Traditionally, radiomics, as a subfield of radiology that can extract a large number of quantitative features from medical images, demonstrates its potential to facilitate medical imaging diagnosis before the deep learning era. In this paper, we develop an end-to-end framework, ChexRadiNet, that can utilize the radiomics features to improve the abnormality classification performance. Specifically, ChexRadiNet first applies a light-weight but efficient triplet-attention mechanism to classify the chest X-rays and highlight the abnormal regions. Then it uses the generated class activation map to extract radiomic features, which further guides our model to learn more robust image features. After a number of iterations and with the help of radiomic features, our framework can converge to more accurate image regions. We evaluate the ChexRadiNet framework using three public datasets: NIH ChestX-ray, CheXpert, and MIMIC-CXR. We find that ChexRadiNet outperforms the state-of-the-art on both disease detection (0.843 in AUC) and localization (0.679 in T(IoU) = 0.1). We make the code publicly available at https://github. com/bionlplab/lung_disease_detection_amia2021, with the hope that this method can facilitate the development of automatic systems with a higher-level understanding of the radiological world.

研究の動機と目的

• 放射線科医による胸部X線画像の手作業解釈の負担が増大する中、燃え尽きや診断のばらつきを引き起こすという問題に対処するため。
• 従来の放射線学的特徴量とディーブラーニングのギャップを埋めるために、放射線学的特徴量をニューラルネットワーク学習におけるソフト制約として埋め込むこと。
• 事前にアノテートされたバウンディングボックスを必要とせず、疾患分類と局在化の両方を向上させるエンドツーエンドのフレームワークを開発すること。
• アテンションマップを生成することで、モデルの解釈性を高め、放射線学的推論と正解アノテーションに一致させる。
• 自動胸部疾患検出のためのより強固で汎用的かつ臨床的に解釈可能なAIシステムの実現を図ること。

提案手法

• ChexRadiNetは、二つのブランチを持つマルチタスク・クローズドループアーキテクチャを採用している。一つはマルチラベル分類用、もう一つは放射線学的特徴量を用いた局在化用である。
• 軽量な三重アテンション機構を用いて、胸部X線画像における異常領域を強調するクラスアクティベーションマップを生成する。
• アテンションマップから抽出された放射線学的特徴量が、バックプロパゲーション中のモデル正則化のためのソフト制約として用いられる。
• フレームワークは、潜在変数モデル $E_{z\sim p(z|x)}p(y|x,z)$ を用いており、$z$ は画像 $x$ 上の放射線学的マスクを表し、$p(y|x,z)$ はマスク付き分類ヘッドである。
• 事前アノテートされたバウンディングボックスが不要な弱教師あり学習を用いてエンドツーエンドで学習される。
• バックボーンネットワークとしてResNet-18が用いられ、NIH ChestX-ray、CheXpert、MIMIC-CXRデータセットで評価された。

実験結果

リサーチクエスチョン

• RQ1 放射線学的特徴量は、ディーブラーニングモデルに事前知識として効果的に統合可能か？ これにより胸部疾患の分類および局在化が向上するか？
• RQ2 アテンションマップと放射線学的特徴量を用いた弱教師ありフレームワークは、事前にアノテートされたバウンディングボックスを必要とせず、既存の最先端モデルを上回る性能を示せるか？
• RQ3 放射線学的特徴量は、複数の胸部疾患を検出する際のモデルのロバスト性および解釈性をどの程度向上させるか？
• RQ4 モデルが生成するアテンションマップは、心臓肥大、肺炎、肺腫瘍などの主要な病理に対して放射線学的正解とどの程度一致するか？
• RQ5 放射線学的特徴量の統合により、多様で現実世界の胸部X線データセットにわたるモデルの汎用性が向上するか？

主な発見

• ChexRadiNetは、NIH ChestX-rayデータセットにおいて、放射線学的特徴量を含まないベースラインを上回るAUC 0.843を達成した。
• NIH ChestX-rayデータセットでは、T(IoU)=0.1における局在化性能が0.679に達し、異常部位の局在化精度が優れていることが示された。
• CheXpertデータセットでは、平均AUCが0.854から0.883に向上し、肺炎、胸水、実化の検出において顕著な向上が見られた。
• MIMIC-CXRデータセットでは、平均AUCが0.822から0.837に上昇し、多様な臨床環境において一貫した改善が確認された。
• 定性的な分析から、モデルのアテンションマップは正解のバウンディングボックスとよく一致しており、特に両側肺炎の症例のようにアノテーションが不完全な場合でも複数の病変を検出できた。
• モデルは解釈性が向上し、アテンションマップが放射線学的推論を支援する視覚的証拠を提供し、欠落したアノテーションを補完できる可能性を示した。