[論文レビュー] SPCXR: Self-supervised Pretraining using Chest X-rays Towards a Domain Specific Foundation Model

Syed Muhammad Anwar, Abhijeet Parida+5 more|arXiv (Cornell University)|Nov 23, 2022

COVID-19 diagnosis using AI被引用数 4

ひとこと要約

本稿では、ラベルなし胸部X線を用いてドメイン特化型の表現を学ぶために、自己教師ありビジョントランスフォーマー事前学習フレームワークであるSPCXRを提案する。大規模なCX-Rデータに対してグループマスク自己教師あり学習を適用することで、COVID-19や肺炎分類、肺分離などの下流タスクで最先端の性能を達成し、小児データにおいては教師ありベースライン比で25%の精度向上を達成した。

ABSTRACT

Chest X-rays (CXRs) are a widely used imaging modality for the diagnosis and prognosis of lung disease. The image analysis tasks vary. Examples include pathology detection and lung segmentation. There is a large body of work where machine learning algorithms are developed for specific tasks. A significant recent example is Coronavirus disease (covid-19) detection using CXR data. However, the traditional diagnostic tool design methods based on supervised learning are burdened by the need to provide training data annotation, which should be of good quality for better clinical outcomes. Here, we propose an alternative solution, a new self-supervised paradigm, where a general representation from CXRs is learned using a group-masked self-supervised framework. The pre-trained model is then fine-tuned for domain-specific tasks such as covid-19, pneumonia detection, and general health screening. We show that the same pre-training can be used for the lung segmentation task. Our proposed paradigm shows robust performance in multiple downstream tasks which demonstrates the success of the pre-training. Moreover, the performance of the pre-trained models on data with significant drift during test time proves the learning of a better generic representation. The methods are further validated by covid-19 detection in a unique small-scale pediatric data set. The performance gain in accuracy (~25%) is significant when compared to a supervised transformer-based method. This adds credence to the strength and reliability of our proposed framework and pre-training strategy.

研究の動機と目的

• 希少疾患や小児肺疾患のためのアノテート済み医療画像データが限られている課題に対処するため、大規模なラベルなしCX-Rデータを用いた事前学習を活用する。
• 多様な臨床的データ分布および画像デバイスに一般化可能な、胸部レントゲン診断のためのドメイン特化型の基盤モデルを開発する。
• 大人のCX-Rデータを用いた自己教師あり事前学習により、特に小児集団におけるリソースが限られた下流タスクの性能を向上させる。
• 統一された事前学習モデルを用いて、分類および分離タスクの両方への転送性を実証する。
• 実臨床環境でのデータドリフトおよび分布シフトに代表される状況において、事前学習モデルの頑健性を検証する。

提案手法

• 複数のソースから得た10万枚のラベルなし小児および大人のCX-R画像を用いて、ビジョントランスフォーマー（ViT-S）をグループマスク自己教師あり学習（GMML）戦略で事前学習する。
• マスクド画像モデリングを用い、入力CX-Rのパッチをマスクし、モデルがそれらを再構築するように学習させることで、グローバルおよびローカルな解剖的特徴の学習を促進する。
• 深層学習のUNetアーキテクチャに統合された事前学習済みViT-Sを、深センおよびベラルーシのデータセットを用いて、意味的肺分離のための微調整を行う。
• 追加のアノテーションなしに、RSNA、RICORD、および小児データセットにおける下流分類タスク（例：COVID-19、肺炎、健常）に同じ事前学習重みを適用する。
• 微調整の際には、AdamW最適化法を用い、重み減衰を1e-5、初期基底学習率を5e-4として、256×256画素解像度で400エポックの学習を実施する。
• 標準指標を用いて性能を評価する：正解率、AUC-ROC、TPR、TNR、平均IoU、Dice係数、および分離タスクのためのハウスドルフ表面距離。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなしCX-Rを用いた自己教師あり事前学習は、小児COVID-19検出のようなリソースが限られた下流タスクの性能向上に寄与するか？
• RQ2 大人のCX-Rを用いた事前学習は、データが限られ、顕著な分布シフトを示す未観測の小児データセットへどの程度転送可能か？
• RQ3 提案手法のGMMLに基づく自己教師あり事前学習は、多様なCX-Rデータ分布において、完全に教師あり微調整と比較して精度および頑健性に優れているか？
• RQ4 1つの事前学習済みビジョントランスフォーマー・モデルが、胸部レントゲン診断における分類および分離タスクの両方を効果的に処理できるか？
• RQ5 自己教師あり表現学習は、特にラベル付きデータが乏しい状況において、より優れた一般化性能と過学習の低減をもたらすか？

主な発見

• 自己教師あり事前学習済みのSPCXRモデルは、小児CX-Rデータセット（健常対COVID-19）における二値分類で94.73%の正解率を達成し、教師ありトランスフォーマーベースライン比で25%の向上を示した。
• RSNAおよびRICORDのテストセットでは、大人のCX-R分類で98.25%の正解率を達成し、標準ベンチマークで優れた性能を示した。
• 肺分離タスクにおいて、事前学習モデルは完全に教師ありUNetRと比較して、ハウスドルフ表面距離を約46%低減し、境界局在化性能に優れたことを示した。
• モデルは、胸部レントゲン画像からCOVID-19を同定する際、胸部放射線科医を上回る真陽性率と低い偽陽性率を示し、臨床的トリアージの信頼性を向上させた。
• 細菌性肺炎とウイルス性COVID-19を区別するタスクで99.67%の正解率を達成し、微細な病理的パターンの学習能力を示した。
• 注目度ヒートマップは、多くの場合で臨床的に関連する領域に注目していることを確認したが、一部の注目度は肺外でも観察されたため、解釈性の向上が今後の課題である。