[論文レビュー] COVIDx CT-3: A Large-scale, Multinational, Open-Source Benchmark Dataset for Computer-aided COVID-19 Screening from Chest CT Images

Hayden Gunraj, Tia Tuinstra+1 more|arXiv (Cornell University)|Jun 7, 2022

COVID-19 diagnosis using AI被引用数 6

ひとこと要約

COVIDx CT-3 は、少なくとも 17 か国からなる 6,068 人の患者の胸部 CT スライス 431,205 枚を含む大規模かつ多国籍でオープンソースのベンチマークデータセットを提供し、機械学習を活用した COVID-19 スクリーニングの実現を可能にする。規模と多様性にかかわらず、このデータセットは顕著な地理的およびクラスの不均衡を示しており、中国に所属する患者が 42.2%、COVID-19 とラベル付けされた画像が 73.4% を占めるなど、モデルの汎化性能に深刻なデータバイアスの課題が生じている。

ABSTRACT

Computed tomography (CT) has been widely explored as a COVID-19 screening and assessment tool to complement RT-PCR testing. To assist radiologists with CT-based COVID-19 screening, a number of computer-aided systems have been proposed. However, many proposed systems are built using CT data which is limited in both quantity and diversity. Motivated to support efforts in the development of machine learning-driven screening systems, we introduce COVIDx CT-3, a large-scale multinational benchmark dataset for detection of COVID-19 cases from chest CT images. COVIDx CT-3 includes 431,205 CT slices from 6,068 patients across at least 17 countries, which to the best of our knowledge represents the largest, most diverse dataset of COVID-19 CT images in open-access form. Additionally, we examine the data diversity and potential biases of the COVIDx CT-3 dataset, finding that significant geographic and class imbalances remain despite efforts to curate data from a wide variety of sources.

研究の動機と目的

• COVID-19 スクリーニングにおける機械学習モデルの学習および評価に用いるための、大規模かつ多様性に富み、オープンアクセス可能な CT データセットの不足を解消すること。
• 単一の国に限定されたコhort や小規模で代表的でないデータセットに依存していた過去の研究の限界を克服すること。
• 胸部 CT 画像からの汎化性の高い、コンピュータ支援 COVID-19 検出システムの開発を促進するためのベンチマークデータセットを提供すること。
• 大規模かつ多国籍の医療画像データセットにおけるデータの多様性と潜在的なバイアスを調査・定量し、今後のデータキュレーションの指針とすること。
• 明確なラベル付けプロトコルとデータの履歴を備えた標準化され、きめ細やかに整備されたデータセットを公開することで、再現性のある研究を支援すること。

提案手法

• 中国国家がんセンター（CNCB）、米国国立衛生研究院のITAC、COVID-CT-MD、LIDC-IDRI、Radiopaedia など、11 の国際的データソースから CT 画像を統合し、広範な地理的およびプロトコル的多様性を確保した。
• 3 種類のラベリング戦略を採用：正確な感染マスクを用いたセグメンテーションベースのラベリング、顕著な異常を容易に特定できる非専門家による手動ラベリング、事前学習済みモデルを用いたモデルベースの自動ラベリング。
• 全スライスに患者レベルでのラベルを割り当て、データセット全体で一貫性を確保した。最終的なラベルは患者の診断（COVID-19、CAP、正常）に基づいたものとした。
• データセットをトレーニング（84%）、バリデーション（8%）、テスト（8%）の各セットに分割し、バリデーションおよびテストセットには専門家がアノテートしたラベルを確保することで信頼性を確保した。
• 確認された臨床診断を持つ、高品質で匿名化・個人特定情報が削除された CT スライスのみを含む、きめ細やかなデータキュレーションを実施した。
• 人口統計的分布、地理的起源、年齢、性別、クラスの不均衡について包括的な分析を実施し、データセットのバイアスおよび代表性を評価した。

実験結果

リサーチクエスチョン

• RQ1 COVIDx CT-3 データセットは、患者の地理的背景、年齢、性別について、どれほど世界的な多様性を反映しているか？
• RQ2 特に COVID-19、CAP、正常の各クラスにおける不均衡が、このデータセット上で学習された機械学習モデルの性能および公平性にどのように影響するか？
• RQ3 大規模かつオープンアクセス可能な医療画像データセットにおける主なバイアス要因は何か。また、それらはモデルの汎化性能にどのように影響を与えるか？
• RQ4 COVIDx CT-3 のような大規模かつ多国籍のデータセットは、COVID-19 スクリーニングにおける AI モデルの学習および評価のための信頼できるベンチマークとして機能できるか？
• RQ5 非専門家および自動ラベリングの導入は、研究目的におけるデータセットの信頼性および有用性にどのように影響を与えるか？

主な発見

• COVIDx CT-3 は、少なくとも 17 か国からなる 6,068 人の患者の CT スライス 431,205 枚を含み、同種のデータセットの中で最大規模のオープンアクセスデータセットである。
• 中国に所属する患者は 42.2% を占め、85.9% の患者が中国、フランス、ロシア、イランの 4 か国で撮影されたことから、顕著な地理的バイアスが生じている。
• 51.4% の患者が年齢が不明であり、年齢が判明している患者のうち 45.9% のみが 30–89 歳の範囲に含まれており、若年層および高齢層の患者が不足していることが示唆される。
• このデータセットは顕著なクラスの不均衡を示しており、画像の 73.4% が COVID-19、16.6% が CAP、10.0% が正常とラベル付けされており、主にトレーニングセットに集中している。
• 多様なデータソースを統合した努力にもかかわらず、バリデーションおよびテストセットでは、COVID-19：CAP：正常 の比が約 2.2：1：1 とよりバランスの取れた比率を維持している。
• 本研究では、データの多様性とバイアスに関する継続的な課題を特定し、臨床現場へのAIモデルの導入を検討するにあたり、研究者がこれらの制限を十分に考慮する必要があると提言している。