[論文レビュー] POCOVID-Net: Automatic Detection of COVID-19 From a New Lung Ultrasound Imaging Dataset (POCUS)

Jannis Born, Gabriel Brändle+5 more|arXiv (Cornell University)|Apr 25, 2020

Ultrasound in Clinical Applications参考文献 66被引用数 158

ひとこと要約

本論文はPOCOVID-Netを紹介し、1103-lung-POCUS画像データセットでCOVID-19を検出するCNNを訓練、フレーム毎精度89%およびビデオ精度92%、COVID-19に対する感度96%、データ提供と予測のオープンウェブサービスを提供。

ABSTRACT

With the rapid development of COVID-19 into a global pandemic, there is an ever more urgent need for cheap, fast and reliable tools that can assist physicians in diagnosing COVID-19. Medical imaging such as CT can take a key role in complementing conventional diagnostic tools from molecular biology, and, using deep learning techniques, several automatic systems were demonstrated promising performances using CT or X-ray data. Here, we advocate a more prominent role of point-of-care ultrasound imaging to guide COVID-19 detection. Ultrasound is non-invasive and ubiquitous in medical facilities around the globe. Our contribution is threefold. First, we gather a lung ultrasound (POCUS) dataset consisting of 1103 images (654 COVID-19, 277 bacterial pneumonia and 172 healthy controls), sampled from 64 videos. This dataset was assembled from various online sources, processed specifically for deep learning models and is intended to serve as a starting point for an open-access initiative. Second, we train a deep convolutional neural network (POCOVID-Net) on this 3-class dataset and achieve an accuracy of 89% and, by a majority vote, a video accuracy of 92% . For detecting COVID-19 in particular, the model performs with a sensitivity of 0.96, a specificity of 0.79 and F1-score of 0.92 in a 5-fold cross validation. Third, we provide an open-access web service (POCOVIDScreen) that is available at: https://pocovidscreen.org. The website deploys the predictive model, allowing to perform predictions on ultrasound lung images. In addition, it grants medical staff the option to (bulk) upload their own screenings in order to contribute to the growing public database of pathological lung ultrasound images. Dataset and code are available from: https://github.com/jannisborn/covid19_pocus_ultrasound. NOTE: This preprint is superseded by our paper in Applied Sciences: https://doi.org/10.3390/app11020672

研究の動機と目的

• 迅速なCOVID-19スクリーニングのための点滴超音波検査（POCUS）の利用を動機づけ、既存の分子検査を補完する。
• COVID-19、肺炎、健常対照に labeledされた肺超音波記録の初のオープンデータセットを提供する。
• フレームレベルおよびビデオレベルのCOVID-19検出のためのCNN（POCOVID-Net）を開発・検証する。
• 超音波画像の予測と新しいデータの収集を目的としたオープンアクセスのWebサービス（POCOVIDScreen）を提供する。

提案手法

• 64本の動画からCOVID-19、肺炎、健常の3クラス肺POCUS画像データセットを構築し、処理後に1103枚の画像を得る。
• VGG-16をベースにしたCNN（POCOVID-Net）を用い、単一隠れ層（64ニューロン）、ドロップアウト0.5、バッチ正規化、ImageNetで事前訓練、最後の3層をファインチューニングする。
• Adamオプティマイザ（lr=1e-4）で交差エントロピー lossを用いて訓練し、データ拡張（回転、反転、シフト）を適用する。
• 訓練・テストを分離するためにビデオ単位のデータ分割を確保した5-foldクロスバリデーションで評価する。
• 同データ上でCOVID-NetおよびResNetベースの代替と比較し、フレームからビデオへの集約を多数決または確率の平均で実施する。

実験結果

リサーチクエスチョン

• RQ1 肺超音波フレームで訓練されたCNNはCOVID-19を肺炎および健常組織と識別できるか。
• RQ2 多様なオープン超音波データセットに対するPOCOVID-Netのフレームレベルおよびビデオレベルの性能はどうか。
• RQ3 POCOVID-Netは同じデータに対するX線/CTベースのCOVID-19分類器と比較してどうなるか。
• RQ4 データの多様性と拡張が超音波ベースのCOVID-19検出モデルの一般化性能に及ぼす影響は何か。

主な発見

Class	Sensitivity	Specificity	Precision	F1-score	Frames	Videos/Images
POCOVID-Net	0.96	0.79	0.88	0.92	654	39
Pneumonia	0.93	0.98	0.95	0.94	277	14
Healthy	0.55	0.98	0.78	0.62	172	11
COVID-Net	0.98	0.57	0.77	0.86	654	39
Pneumonia	0.89	0.98	0.95	0.92	277	14
Healthy	0.01	1.00	0.20	0.01	172	11

• POCOVID-Netは3クラスのフレームレベル分類で総合精度0.89、バランス精度0.82を達成。
• COVID-19検出感度は0.96、特異度0.79、F1スコアは0.92（フレームレベル）。
• 肺炎は感度0.93、特異度0.98、F1スコア0.94を検出；健常クラスは感度0.55、特異度0.98。
• ビデオレベルの集約ではCOVID-19、肺炎、健常の分類で92%の精度（平衡化0.84）を達成。
• 同データ上でのCOVID-Net（X線）と比較すると、POCOVID-Netは精度と平衡精度が高い（0.82対0.63）。COVID-Netは健常クラスでの感度が低く苦戦する（0%感度）。
• 著者らは予測とデータ提出のためのオープンWebサービス（POCOVIDScreen）を提供し、コミュニティのデータ成長を促進する。