[論文レビュー] CheXphotogenic: Generalization of Deep Learning Models for Chest X-ray Interpretation to Photos of Chest X-rays

Pranav Rajpurkar, Anirudh Joshi+4 more|arXiv (Cornell University)|Nov 12, 2020

COVID-19 diagnosis using AI参考文献 13被引用数 6

ひとこと要約

本研究では、チェッキョフォトデータセットを用いて、スマートフォンで撮影したレントゲン写真に応用した際の、8種類のディーブラーニングモデルのコントロールレントゲン画像解釈性能を評価した。写真への適用に伴い、マチューの相関係数（MCC）が平均0.036低下したが、いくつかのモデルはボード認定レントゲン専門医と同等の性能を示し、低資源環境におけるモバイル画像診断のスケーラブルな展開の可能性を示した。

ABSTRACT

The use of smartphones to take photographs of chest x-rays represents an appealing solution for scaled deployment of deep learning models for chest x-ray interpretation. However, the performance of chest x-ray algorithms on photos of chest x-rays has not been thoroughly investigated. In this study, we measured the diagnostic performance for 8 different chest x-ray models when applied to photos of chest x-rays. All models were developed by different groups and submitted to the CheXpert challenge, and re-applied to smartphone photos of x-rays in the CheXphoto dataset without further tuning. We found that several models had a drop in performance when applied to photos of chest x-rays, but even with this drop, some models still performed comparably to radiologists. Further investigation could be directed towards understanding how different model training procedures may affect model generalization to photos of chest x-rays.

研究の動機と目的

• スマートフォンで撮影したレントゲン写真に応用した際の、コントロールレントゲン画像解釈のためのディーブラーニングモデルの一般化性能を評価すること。
• 複数の疾患に対して、写真と元のデジタルレントゲン画像の両方におけるモデル性能を比較すること。
• スマートフォンで撮影した写真を解釈する際、モデルの性能がボード認定レントゲン専門医と同等かどうかを評価すること。
• どの疾患やアーティファクトが、写真入力におけるモデル性能に最も顕著に影響を与えるかを特定すること。

提案手法

• 8つのチェッキャンプティスチャレンジ優勝モデル（すべてDensely Connected Convolutional Networksを用いたアンサンブルモデル）を、スマートフォンで撮影したコントロールレントゲン画像のチェッキョフォトデータセットに対して評価した。
• 再トレーニングを伴わない同一評価を保証するため、CodaLabプラットフォームを用いてチェッキョフォトテストセット上でモデルを再実行した。
• 5つの疾患（不張塞栓、心臓肥大、浸潤、浮腫、胸水）における二値分類の性能を、マチューの相関係数（MCC）およびAUCで測定した。
• 写真入力におけるモデル性能を、元のデジタルレントゲン画像における性能およびレントゲン専門医の性能と比較し、95％信頼区間を用いた対応MCC差を用いた。
• 評価の整合性を確保し、データ漏洩を回避するため、チェッキャンプティスチャレンジの隠しテストセットを用いた。
• 疾患ごとおよびモデルごとの性能低下を分析し、眩光、ぼやけ、角度のずれなどの画像アーティファクトに対するモデルの頑健性の傾向を特定した。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンで撮影したレントゲン写真に応用した際の、コントロールレントゲン画像解釈のためのディーブラーニングモデルの性能は、元のデジタル画像と比較してどの程度か？
• RQ2 どの特定の疾患が、モデルが写真に適用された際に最も顕著な性能低下を示すか？
• RQ3 これらのモデルがスマートフォンで撮影した写真を解釈する際の性能が、ボード認定レントゲン専門医の性能と同等か、あるいはそれを上回る程度はどの程度か？
• RQ4 眩光、ぼやけ、回転などの特定の画像アーティファクトが、モデル性能に顕著に悪影響を与えるか？
• RQ5 異なるモデルアーキテクチャーやトレーニング手順は、写真入力への一般化にどのように影響を与えるか？

主な発見

• 8つのモデルすべてが、スマートフォンで撮影したレントゲン写真に適用した際、MCCに統計的に有意な低下を示した。平均低下幅は0.036（95％信頼区間：0.024～0.048）であった。
• 性能低下が最も顕著に見られたのは胸水（7つのモデルがレントゲン専門医より有意に低い性能を示した）と心臓肥大（5つのモデルが性能を低下させた）であった。
• 低下が見られたにもかかわらず、8つのモデルのうち5つは平均的にレントゲン専門医と有意に差がなく、3つのモデルは心臓肥大や浮腫などの特定疾患においてレントゲン専門医を上回った。
• デジタルレントゲン画像から写真への移行に伴い、AUCは平均0.016（95％信頼区間：0.012～0.019）低下した。
• 写真入力におけるモデルのMCC平均は0.560（95％信頼区間：0.528～0.587）であり、元のデジタル画像では0.588（95％信頼区間：0.560～0.618）であった。
• レントゲン専門医の写真入力における性能は0.568（95％信頼区間：0.542～0.597）であり、モデルの写真入力における性能が人間の解釈と同等に保たれていることが示された。