[論文レビュー] COVID-19 Prognosis via Self-Supervised Representation Learning and Multi-Image Prediction

Anuroop Sriram, Matthew J. Muckley+8 more|PubMed|Jan 13, 2021

COVID-19 diagnosis using AI被引用数 31

ひとこと要約

本論文は公開データセットを用いたMoCo自己教師あり学習で胸部X線表現を事前学習し、COVID-19悪化予測のファインチューニングを行い、単画像および多画像（Transformerベース）アプローチを含む。 supervisedベースラインを上回るAUCを達成し、放射線科医と比較。

ABSTRACT

The rapid spread of COVID-19 cases in recent months has strained hospital resources, making rapid and accurate triage of patients presenting to emergency departments a necessity. Machine learning techniques using clinical data such as chest X-rays have been used to predict which patients are most at risk of deterioration. We consider the task of predicting two types of patient deterioration based on chest X-rays: adverse event deterioration (i.e., transfer to the intensive care unit, intubation, or mortality) and increased oxygen requirements beyond 6 L per day. Due to the relative scarcity of COVID-19 patient data, existing solutions leverage supervised pretraining on related non-COVID images, but this is limited by the differences between the pretraining data and the target COVID-19 patient data. In this paper, we use self-supervised learning based on the momentum contrast (MoCo) method in the pretraining phase to learn more general image representations to use for downstream tasks. We present three results. The first is deterioration prediction from a single image, where our model achieves an area under receiver operating characteristic curve (AUC) of 0.742 for predicting an adverse event within 96 hours (compared to 0.703 with supervised pretraining) and an AUC of 0.765 for predicting oxygen requirements greater than 6 L a day at 24 hours (compared to 0.749 with supervised pretraining). We then propose a new transformer-based architecture that can process sequences of multiple images for prediction and show that this model can achieve an improved AUC of 0.786 for predicting an adverse event at 96 hours and an AUC of 0.848 for predicting mortalities at 96 hours. A small pilot clinical study suggested that the prediction accuracy of our model is comparable to that of experienced radiologists analyzing the same information.

研究の動機と目的

• COVID-19患者のリソース制約がある病棟設定において胸部X線データを用いた迅速で正確なトリアージを動機づける。
• 自己教師あり事前学習を調査して、COVID-19悪化タスクでファインチューニングする前の一般化可能な画像表現を学ぶ。
• 単画像および時系列ベースの予測アーキテクチャ（多画像）を評価して、有害事象と酸素要件を予測する。
• パイロット読影者研究における放射線科医の予測とモデルの性能を比較評価する。

提案手法

• DenseNet-121エンコーダをMomentum Contrast (MoCo)で大規模な公開胸部X線データセット（MIMIC-CXR-JPG and CheXpert）上で事前学習し、COVIDラベルを使用しない。
• 事前学習済みエンコーダを下流タスクへファインチューニングする：Single Image Prediction (SIP) of any adverse event within 24–96 hours, Oxygen Requirement Prediction (ORP) (>6 L/day) within 24–96 hours。
• Relative timesを用いた胸部X線系列を取り扱い、Continuous Positional Embedding (CPE)と時刻認識トランスフォーマーを用いて有害事象を予測するTransformerベースのアーキテクチャ（MIP）を開発する。
• DropImage regularizerを導入して、系列内の過去の画像の一部をランダムに落として頑健性を向上させる。
• 自己教師あり事前学習と教師あり事前学習を比較し、ブートストラップベースの統計的有意性検定を実施する。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり pretraining は非COVIDの胸部X線からの表現を学習することで、教師あり pretraining と比べて COVID-19悪化予測を改善できるか。
• RQ2 トランスフォーマーを用いた胸部X線の時系列を組み込むと、単画像モデルと比べて有害事象と死亡率の予測が改善するか。
• RQ3 MoCoベースのアプローチはCOVID-GMICモデルおよび読影者に比べてどの程度優れているか。
• RQ4 異なる予測 horizon における SIP と ORP タスクの相対的な利点は何か。
• RQ5 COVID-19患者を対象とするタスクの場合、事前学習に public pretraining data (MIMIC-CXR, CheXpert) を組み合わせることには利点があるか。

主な発見

• 自己教師あり MoCo 事前学習は SIP の全ての時間枠で教師あり事前学習より高い AUC を示し、72時間および96時間で有意。
• SIP において、MoCo 事前学習＋フルファインチューニングは48, 72, 96時間で最良のAUCを達成する一方、MoCo ＋分類器のみファインチューニングは24時間で最も優れる。
• MIP トランスフォーマーはX線系列を用いることで、単画像 MoCo ベースラインより有害事象予測のAUCを全時間ウィンドウで改善し、24, 48, 72時間で有意な改善を示す。
• パイロット読影者研究と比較して、MIP トランスフォーマーは任意の有害事象を予測する点で放射線科医のパフォーマンスと同等かやや上回る。放射線科医は一部タスクでばらつきが大きい。
• SIP の MoCo 公開データによるAUCは 0.686, 0.719, 0.726, 0.742（24, 48, 72, 96時間）であり、MoCo が最高、COVID-GMIC は同じ時間で 0.695, 0.716, 0.717, 0.738。
• ORP の結果は教師あり pretraining が MoCo と競合する可能性を示唆し、24時間ではいくつかのアブレーションで MoCo が改善するが、全体的な時間ダイナミクスは SIP と ORP タスクで異なる。
• DropImage 正則化を備えたトランスフォーマーベースの MIP モデルは、単一画像 MoCo ベースラインより ICU 転送、死亡率、および全有害イベントの予測で統計的に有意な改善を提供。