[論文レビュー] Does Non-COVID19 Lung Lesion Help? Investigating Transferability in COVID-19 CT Image Segmentation

Yixin Wang, Yao Zhang+6 more|arXiv (Cornell University)|Jun 23, 2020

COVID-19 diagnosis using AI参考文献 38被引用数 8

ひとこと要約

本論文は、転移学習を用いて非COVID-19肺病変データセットを活用することで、COVID-19 CT画像分類を向上させるハイブリッドエンコーダー学習戦略を提案する。複数の肺病変タイプで事前学習を行い、専用エンコーダーと適応エンコーダーのアテンションベース選択的統合を用いることで、限られたラベル付きCOVID-19データでも過学習を顕著に低減し、平均DSCは0.704を達成した。

ABSTRACT

Coronavirus disease 2019 (COVID-19) is a highly contagious virus spreading all around the world. Deep learning has been adopted as an effective technique to aid COVID-19 detection and segmentation from computed tomography (CT) images. The major challenge lies in the inadequate public COVID-19 datasets. Recently, transfer learning has become a widely used technique that leverages the knowledge gained while solving one problem and applying it to a different but related problem. However, it remains unclear whether various non-COVID19 lung lesions could contribute to segmenting COVID-19 infection areas and how to better conduct this transfer procedure. This paper provides a way to understand the transferability of non-COVID19 lung lesions. Based on a publicly available COVID-19 CT dataset and three public non-COVID19 datasets, we evaluate four transfer learning methods using 3D U-Net as a standard encoder-decoder method. The results reveal the benefits of transferring knowledge from non-COVID19 lung lesions, and learning from multiple lung lesion datasets can extract more general features, leading to accurate and robust pre-trained models. We further show the capability of the encoder to learn feature representations of lung lesions, which improves segmentation accuracy and facilitates training convergence. In addition, our proposed Hybrid-encoder learning method incorporates transferred lung lesion features from non-COVID19 datasets effectively and achieves significant improvement. These findings promote new insights into transfer learning for COVID-19 CT image segmentation, which can also be further generalized to other medical tasks.

研究の動機と目的

• 非COVID-19肺病変が、COVID-19 CT画像分類のための深層学習モデルの一般化性能と頑健性を向上させられるかを調査すること。
• 多様な肺病変タイプから学習した特徴量が、COVID-19感染の分類タスクへの転送性を持つかどうかを評価すること。
• 非COVID-19病変データとCOVID-19感染データの特徴量を効果的に統合する新しい転移学習戦略の開発および検証すること。
• 限られたデータ環境下でのCOVID-19分類における過学習の低減と学習収束の改善を図ること。

提案手法

• 公開の非COVID-19肺CTスキャンを統合した多病変データセットを用いて、3D U-Netエンコーダーを事前学習し、一般肺病変表現を学習する。
• 専用エンコーダー（COVID-19特化特徴）と一般肺病変特徴を学習する適応エンコーダーの2つの並列エンコーダーを備えたハイブリッドエンコーダー学習戦略を提案する。
• 入力コンテキストに応じて特徴量を動的に重み付け・統合するアテンションベース選択的統合ユニットを導入する。
• 4つの転移学習戦略（継続的学習、ボディ微調整、事前学習済み病変表現、および提案されたハイブリッドエンコーダー学習）を評価する。
• 2020年のCOVID-19 CT画像分類データセットと3つの公開非COVID-19データセットを用い、5分割交差検証により、堅牢な性能評価を実施する。
• モデル比較のため、Dice類似係数（DSC）、正規化表面Dice（NSD）、感度、F1スコア、正答率といった標準指標を採用する。

実験結果

リサーチクエスチョン

• RQ1 多様な非COVID-19肺病変データセットで事前学習することで、CTスキャンからのCOVID-19感染分類における深層学習モデルの性能が向上するか？
• RQ2 限られたラベル付きCOVID-19データの文脈において、非COVID-19肺病変からの特徴量の転送性は、異なる転移学習戦略でどのように比較されるか？
• RQ3 多病変事前学習モデルは、単一疾患事前学習と比較して、より優れた一般化性能と過学習の低減を実現するか？
• RQ4 COVID-19特化特徴と一般肺病変特徴の学習を分離するハイブリッドエンコーダー構造は、分類精度と収束性の向上に寄与するか？

主な発見

• 提案されたハイブリッドエンコーダー学習戦略は、テストセットで平均Dice類似係数（DSC）0.704、NSD 0.735、感度 0.682、F1スコア 0.707、正答率 0.994を達成した。
• 複数の非COVID-19肺病変データセットでの事前学習は、初期学習や単一疾患事前学習と比較して、モデルの一般化性能を顕著に向上させ、過学習リスクを低減した。
• アテンションベース選択的統合ユニットにより、動的特徴選択が可能となり、病変の外観のばらつきに適応する能力が向上し、分類の一貫性が向上した。
• 事前学習済み病変表現を固定エンコーダーとして使用する戦略は顕著な性能向上を示し、微調整なしでも学習済み特徴量の強い転送性を示した。
• 多病変事前学習モデルは、他のすべての転移学習戦略を上回り、事前学習データの多様性が特徴量の豊かさと下流タスクのパフォーマンス向上に寄与することを示した。
• ハイブリッドエンコーダー手法は、性能と学習効率のバランスが最良であり、各foldで1ケースあたり平均213秒の推論時間を記録した。