[論文レビュー] Using artificial intelligence to detect chest X-rays with no significant findings in a primary health care setting in Oulu, Finland

Tommi Keski-Filppula, Marko Nikki+3 more|arXiv (Cornell University)|May 17, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 7

ひとこと要約

本研究では、フィンランドの一次医療環境における正常（有意な所見なし）のチチェストレントゲノグラムを検出する商用AIシステムの評価を行った。9,579件の後向き分析を用い、AIは正常な画像を同定する際、感度99.8％、特異度36.4％を達成した。誤って正常と判断されたケースは9件にとどまり、そのうちのいかなるケースにも深刻な所見が含まれていなかった。これは、高い安全性と一次医療画像における放射線科医の負担軽減の可能性を示している。

ABSTRACT

Objectives: To assess the use of artificial intelligence-based software in ruling out chest X-ray cases, with no significant findings in a primary health care setting. Methods: In this retrospective study, a commercially available artificial intelligence (AI) software was used to analyse 10 000 chest X-rays of Finnish primary health care patients. In studies with a mismatch between an AI normal report and the original radiologist report, a consensus read by two board-certified radiologists was conducted to make the final diagnosis. Results: After the exclusion of cases not meeting the study criteria, 9579 cases were analysed by AI. Of these cases, 4451 were considered normal in the original radiologist report and 4644 after the consensus reading. The number of cases correctly found nonsignificant by AI was 1692 (17.7% of all studies and 36.4% of studies with no significant findings). After the consensus read, there were nine confirmed false-negative studies. These studies included four cases of slightly enlarged heart size, four cases of slightly increased pulmonary opacification and one case with a small unilateral pleural effusion. This gives the AI a sensitivity of 99.8% (95% CI= 99.65-99.92) and specificity of 36.4 % (95% CI= 35.05-37.84) for recognising significant pathology on a chest X-ray. Conclusions: AI was able to correctly rule out 36.4% of chest X-rays with no significant findings of primary health care patients, with a minimal number of false negatives that would lead to effectively no compromise on patient safety. No critical findings were missed by the software.

研究の動機と目的

• 一次医療環境における有意な所見のない胸部レントゲン画像を同定するAIソフトウェアの性能を評価すること。
• AIが正常例を除外する際の安全性と正確性を評価し、深刻な病変を逃すリスクを最小限に抑えること。
• AIの結果を元の放射線科医のレポートと、2名のボード資格を持つ放射線科医によるコンSENSUS読影と比較し、診断の信頼性を検証すること。
• 実世界の一次医療対象者におけるAIシステムの正常レントゲノグラム所見を同定する感度と特異度を定量化すること。
• 誤って正常と判断されたケースを同定し、AIシステムが深刻な所見を逃したかどうかを評価すること。

提案手法

• フィンランド・オuluに所在するフィンランドの一次医療患者から得られた10,000件の胸部レントゲン画像の後向き分析。
• 商用で利用可能なAIソフトウェアを用い、事前に定義されたアルゴリズムに基づいて各画像を「正常」または「異常」と分類した。
• AI出力と元の放射線科医レポートとの間に差異が認められた症例については、2名のボード資格を持つ放射線科医によるコンセンサス読影を実施し、最終診断を決定した。
• 感度、特異度、95％信頼区間を用いたAI性能の統計的分析。
• データ品質を確保するため、研究基準を満たさない症例（例：データ不備、診断不能の症例）を除外した。
• 最終評価は、AIが正常な画像を正しく同定できる能力と、誤って正常と判断されたケース（偽陰性）を検出できる能力に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 一次医療環境におけるAIシステムの、有意な所見のない胸部レントゲノグラムの同定における感度と特異度は何か？
• RQ2 AIシステムはいくつの偽陰性症例を生じさせ、どのような種類の病変が見逃されたか？
• RQ3 有意な放射線学的所見がない状況下で、AIシステムが深刻な、または命に関わる所見を逃したケースは存在するか？
• RQ4 AIの性能は、元の放射線科医レポートと2名の専門放射線科医によるコンセンサス読影と比較して、どのように異なるか？
• RQ5 AIシステムは、患者の安全性を損なわず、一次医療環境で正常例を安全に除外できる程度に到達しているか？

主な発見

• コンセンサス読影後に、有意な所見のない症例4,644件のうち1,692件がAIによって正しく同定された。感度は99.8％（95％CI：99.65–99.92）であった。
• 正常な症例を同定するための特異度は36.4％（95％CI：35.05–37.84）であり、これはAIが本当に正常な症例のうち比較的少数を正常と特定していることを示している。
• コンセンサス読影後に同定された偽陰性症例は9件にとどまり、そのうち4件はわずかに拡大した心臓サイズ、4件はわずかに増強した肺実質浸潤、1件は単側性の小規模な胸水が認められた。
• 深刻な、または命に関わる所見はAIによって一切見逃されておらず、臨床スクリーニングにおける高い安全性を示している。
• AIシステムは、重大な病変を逃すリスクが最小限に抑えられ、正常例を除外する上で高い信頼性を示した。
• 結果から、AIは一次医療で胸部レントゲノグラムを事前スクリーニングするために安全に利用可能であり、放射線科医の負担を軽減しながらも、高い診断的安全性を維持できることが示唆された。