[論文レビュー] COVID-19-CT-CXR: a freely accessible and weakly labeled chest X-ray and CT image collection on COVID-19 from biomedical literature

Yifan Peng, Yuxing Tang+4 more|arXiv (Cornell University)|Jun 11, 2020

COVID-19 diagnosis using AI参考文献 52被引用数 15

ひとこと要約

本論文は、PubMed Central Open Accessの論文から自然言語処理およびディープラーニングを用いて自動抽出されたテキスト記述を併せ持つ、1,327例の胸部CTおよび263例の胸部X線画像からなる公開データベース、COVID-19-CT-CXRを紹介する。このデータセットは、COVID-19と非COVID-19のスキャンを分類するAIモデルの性能を向上させるとともに、テキストマイニングされた症状と放射線学的所見を用いた、COVID-19とインフルエンザの臨床所見の比較分析を可能にする。

ABSTRACT

The latest threat to global health is the COVID-19 outbreak. Although there exist large datasets of chest X-rays (CXR) and computed tomography (CT) scans, few COVID-19 image collections are currently available due to patient privacy. At the same time, there is a rapid growth of COVID-19-relevant articles in the biomedical literature. Here, we present COVID-19-CT-CXR, a public database of COVID-19 CXR and CT images, which are automatically extracted from COVID-19-relevant articles from the PubMed Central Open Access (PMC-OA) Subset. We extracted figures, associated captions, and relevant figure descriptions in the article and separated compound figures into subfigures. We also designed a deep-learning model to distinguish them from other figure types and to classify them accordingly. The final database includes 1,327 CT and 263 CXR images (as of May 9, 2020) with their relevant text. To demonstrate the utility of COVID-19-CT-CXR, we conducted four case studies. (1) We show that COVID-19-CT-CXR, when used as additional training data, is able to contribute to improved DL performance for the classification of COVID-19 and non-COVID-19 CT. (2) We collected CT images of influenza and trained a DL baseline to distinguish a diagnosis of COVID-19, influenza, or normal or other types of diseases on CT. (3) We trained an unsupervised one-class classifier from non-COVID-19 CXR and performed anomaly detection to detect COVID-19 CXR. (4) From text-mined captions and figure descriptions, we compared clinical symptoms and clinical findings of COVID-19 vs. those of influenza to demonstrate the disease differences in the scientific publications. We believe that our work is complementary to existing resources and hope that it will contribute to medical image analysis of the COVID-19 pandemic. The dataset, code, and DL models are publicly available at https://github.com/ncbi-nlp/COVID-19-CT-CXR.

研究の動機と目的

• プライバシーおよびデータアクセス制約のため、公に利用可能なアノテート済みのCOVID-19医療画像データの不足に対処すること。
• PubMed Central Open Accessサブセットに含まれる全文医療文献から、胸部X線およびCT画像を自動抽出・分類するパイプラインを開発すること。
• 図のキャプションおよび図の説明から、細分化されたテキスト記述を豊富に含むデータセットを構築し、マルチモーダルAI研究を支援すること。
• このデータセットの有効性を示し、COVID-19分類および異常検出のためのディープラーニングモデルの性能向上を実証すること。
• 科学文献からのテキストマイニングデータを用いて、COVID-19とインフルエンザの臨床症状および放射線学的所見の比較分析を可能にすること。

提案手法

• ドキュメント解析およびレイアウト解析を用いて、PubMed Central Open Access (PMC-OA) 論文から図、キャプション、関連する図の説明を自動抽出する。
• ImageCLEF Medicalデータセットで事前学習されたディープラーニングモデルを微調整し、複合図を個々のサブ図に分割する。
• 医療画像タイプの学習済みディープラーニングモデルを用いて、抽出されたサブ図をモodalitiyカテゴリ（CT、CXR、その他のいずれか）に分類する。
• 非COVID-19のCXRのみで訓練された1クラス異常検出モデルを用い、潜在的なCOVID-19症例を検出する。
• キャプションおよび図の説明のテキストマイニングを実施し、COVID-19とインフルエンザの間で臨床的症状および放射線学的所見を抽出・比較する。
• データセット、コード、および訓練済みモデルをGitHubを通じて公開し、再現性および今後の研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 科学文献から自動抽出された弱いラベルが付与された医療画像が、非COVID-19の胸部CTスキャンとCOVID-19を分類するディープラーニングモデルの性能を向上させることができるか？
• RQ2 非COVID-19症例のみで訓練された1クラス学習アプローチが、抽出されたデータセットを用いてCXRにおけるCOVID-19検出にどの程度有効であるか？
• RQ3 COVID-19とインフルエンザの臨床的症状および放射線学的所見の主な違いは、生命科学文献にどのように反映されているか？
• RQ4 図のキャプションおよび図の説明から抽出されたテキストマイニング記述は、COVID-19における放射線学的パターンの検証および発見にどの程度支援するか？
• RQ5 全文書からの自動画像およびテキスト抽出は、今後の医療画像研究を支援するために、どのようにスケーラビリティを高め、改善できるか？

主な発見

• COVID-19-CT-CXRを追加の学習データとして用いることで、COVID-19と非COVID-19の胸部CTスキャンを区別するディープラーニングモデルの性能が向上した。
• 非COVID-19のCXRのみで訓練された1クラス異常検出モデルは、教師ありのCTベースのモデルと同等の性能を示し、CXRにおけるCOVID-19のゼロショット検出の可能性を示した。
• テキストマイニング解析により、グランドグラスオパシティ（GGO）がCOVID-19においてインフルエンザよりも頻繁に報告された一方で、「浸潤」はインフルエンザでより一般的であった。これは、放射線学的用語および疾患の臨床的所見の違いを反映している。
• 発熱およびせきは、COVID-19において最も頻繁に報告された症状であり、CDCおよび他の研究からの臨床報告と一致した。
• このデータセットにより、15の一般的な症状および20の臨床所見が同定された。GGOはCOVID-19の特徴的所見であり、強化および肺炎は両疾患に共通する。
• サブ図のセグメンテーションおよびテキスト抽出の範囲に制限があるものの、AI開発および放射線学的研究の補完的リソースとして強いポテンシャルを示した。