[論文レビュー] Deep Learning for Automated Classification of Tuberculosis-Related Chest X-Ray: Dataset Specificity Limits Diagnostic Performance Generalizability

Seelwan Sathitratanacheewin, Krit Pongpirul|arXiv (Cornell University)|Nov 13, 2018

COVID-19 diagnosis using AI参考文献 4被引用数 6

ひとこと要約

本研究では、単一の集団から得た結核特化型胸部X線画像（CXR）データセットで訓練された深層畳み込みニューラルネットワーク（DCNN）が、別の集団の結核非特化型CXRデータセットに応用された際の性能を評価する。主な発見は、診断性能が集団間で著しく低下することであり、深層学習による結核検出の汎用性に、データセット特異性が大きな制限要因であることが示された。

ABSTRACT

Machine learning has been an emerging tool for various aspects of infectious diseases including tuberculosis surveillance and detection. However, WHO provided no recommendations on using computer-aided tuberculosis detection software because of the small number of studies, methodological limitations, and limited generalizability of the findings. To quantify the generalizability of the machine-learning model, we developed a Deep Convolutional Neural Network (DCNN) model using a TB-specific CXR dataset of one population (National Library of Medicine Shenzhen No.3 Hospital) and tested it with non-TB-specific CXR dataset of another population (National Institute of Health Clinical Centers). The findings suggested that a supervised deep learning model developed by using the training dataset from one population may not have the same diagnostic performance in another population. Technical specification of CXR images, disease severity distribution, overfitting, and overdiagnosis should be examined before implementation in other settings.

研究の動機と目的

• 結核特化型CXRデータセットで訓練された深層学習モデルが、別の集団の結核非特化型CXRデータセットにどの程度汎用可能かを評価すること。
• 1つの集団のデータで訓練された教師ありDCNNモデルの診断性能が、別の集団に効果的に転送されるかを調査すること。
• 画像仕様、疾患の重症度分布、過学習、過診断などの技術的および臨床的要因が、モデルの転送性にどのように影響するかを特定すること。
• 再訓練や適応なしに、多様な臨床現場に単一の深層学習モデルを展開可能かどうかを評価すること。

提案手法

• 深層畳み込みニューラルネットワーク（DCNN）を、国立医学図書館・深セン第3病院から収集した結核特化型CXRデータセットで訓練した。
• 訓練済みモデルを、別の集団と画像診断状況を反映する、国立衛生研究院臨床センターの結核非特化型CXRデータセットで評価した。
• 標準的な診断指標を用いて性能を測定し、特に感度、特異度、受信者動作特性曲線下積分（AUC）に注目した。
• 画像解像度、露出、再構成技術などの技術的要因がモデル性能に与える影響を分析した。
• データセット間の疾患重症度分布の違いを比較し、潜在的なデータシフトを特定した。
• 分布外データに対するモデル予測の分析と放射線科的解釈との比較により、過学習と過診断を評価した。

実験結果

リサーチクエスチョン

• RQ1 1つの集団の結核特化型CXRデータセットで訓練された深層学習モデルが、別の集団の結核非特化型CXRデータセットに応用された際、高い診断性能を維持できるか？
• RQ2 データセット間の技術的CXR仕様（例：露出、ウィンドウ設定、再構成技術）の違いが、モデルの汎用性にどのように影響するか？
• RQ3 訓練セットとテストセットにおける疾患重症度の分布の違いが、モデルの性能と信頼性にどの程度影響を及ぼすか？
• RQ4 1つのデータセットで訓練されたモデルを別の臨床的集団に適用した際、過学習や過診断が検出可能か？
• RQ5 多様な医療現場における結核検出のための深層学習モデルの実用的展開を制限する主な要因は何か？

主な発見

• 深センの結核特化型データセットで訓練されたDCNNモデルは、NIHの結核非特化型CXRデータセットでテストした際、診断性能が著しく低下した。
• AUCなどの性能指標が著しく低下し、同じ画像モalityであっても、集団間での転送性が乏しいことが示された。
• 露出、ウィンドウ設定、再構成技術などの技術的CXR仕様の違いが、性能低下の主な要因であった。
• モデルは訓練データセット固有の画像特性に過学習しており、新たな環境での耐性が低下していた。
• テストセットにおける疾患重症度の分布が訓練セットと異なっており、感度と特異度の低下に寄与していた。
• テストセットで過診断が観察されたことから、モデルが一般化可能な結核特徴ではなく、誤ったパターンを学習している可能性があることが示唆された。