[論文レビュー] PneumoXttention: A CNN compensating for Human Fallibility when Detecting Pneumonia through CXR images with Attention

Sanskriti Singh|arXiv (Cornell University)|Aug 11, 2020

COVID-19 diagnosis using AI参考文献 10被引用数 2

ひとこと要約

PneumoXttentionは、前向き投写X線画像における肺炎検出を向上させるために新規の注目メカニズムを備えた13層のCNNアンサンブルである。RSNAデータセットで学習された本モデルは、25枚の画像からなるテストセットにおいてF1スコア0.90を達成し、標準的なCNN（F1: 0.70）を上回り、組み合わせて使用した場合に人間のレントゲン専門医と同等の性能を示し、100％の正確性に達した。

ABSTRACT

Automatic Chest Radiograph X-ray (CXR) interpretation by machines is an important research topic of Artificial Intelligence. As part of my journey through the California Science Fair, I have developed an algorithm that can detect pneumonia from a CXR image to compensate for human fallibility. My algorithm, PneumoXttention, is an ensemble of two 13 layer convolutional neural network trained on the RSNA dataset, a dataset provided by the Radiological Society of North America, containing 26,684 frontal X-ray images split into the categories of pneumonia and no pneumonia. The dataset was annotated by many professional radiologists in North America. It achieved an impressive F1 score, 0.82, on the test set (20% random split of RSNA dataset) and completely compensated Human Radiologists on a random set of 25 test images drawn from RSNA and NIH. I don't have a direct comparison but Stanford's Chexnet has a F1 score of 0.435 on the NIH dataset for category Pneumonia.

研究の動機と目的

• 前向き投写X線画像における肺炎の検出において、人間のレントゲン専門医の誤りを是正すること、特に肺尖部や心臓の後方領域といった困難な領域での検出を目的とする。
• 微細なまたはぼやけた陰影を特定するように、人間の見落としを補うための深層学習モデルの開発を目的とする。
• 専門的なレントゲン専門医が不足している低リソース環境での診断正確性の向上を目的とする。
• 誤診を減らし、命を救うために、レントゲン専門医が使用できる信頼性の高い第二の意見ツールの開発を目的とする。

提案手法

• 本モデルは、RSNAデータセットの26,684枚の前向き投写X線画像を用いて学習された、2つの13層の畳み込みニューラルネットワーク（CNN）のアンサンブルを採用している。
• 特に肺尖部や心臓の輪郭部など、人間の見落としやすい領域を強調するため、独自の注目メカニズムが統合されている。
• 二値分類タスク（肺炎：1、肺炎なし：0）の訓練に、バイナリクロスエントロピー損失が使用されている。
• 本モデルは、RSNAデータセットの20％をランダムに抽出したテスト分割と、RSNAおよびNIHデータセットから別途抽出された25枚の画像テストセットで評価された。
• 同じテストセット上で、注目機能なしの標準CNNおよび人間のレントゲン専門医と比較された。
• 最終的なモデルは、25枚の画像からなる盲検セットに対して、レントゲン専門医の読影結果と直接比較することで検証された。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムを備えたCNNは、X線画像における肺炎検出において、標準的なCNNを上回ることができるか？
• RQ2 注目メカニズムは、人間のレントゲン専門医が頻繁に見落とす解剖学的領域における検出を改善できるか？
• RQ3 モデルの予測は、人間のレントゲン専門医の診断を補完し、単独で使用する場合よりも高い診断正確性を達成できるか？
• RQ4 AIモデルは、特に困難な症例において、肺炎検出における誤診をどの程度低減できるか？
• RQ5 本モデルの性能は、NIHデータセットにおいて、CheXNetなどの最先端モデルと比較してどうなるか？

主な発見

• PneumoXttentionは、25枚の画像からなるテストセットでF1スコア0.90を達成し、注目機能なしの標準CNN（F1: 0.70）を顕著に上回った。
• 人間のレントゲン専門医と組み合わせた場合、同じ25枚の画像テストセットで100％の正確性を達成した。
• 本モデルはテストセットで92％の正確性を示し、表4に記載された人間のレントゲン専門医の72％の正確性を上回った。
• 注目メカニズムにより、肺尖部や心臓の後方領域など、通常はレントゲン専門医が見落としやすい領域における肺炎の正しく局在化が可能になった。
• RSNAデータセットのテスト分割（20％）ではF1スコア0.82を達成し、良好な一般化性能を示した。
• 結果から、本モデルは、レントゲン専門医の数が限られる状況において、信頼できる第二の意見ツールとして機能できる可能性があると示唆された。