[論文レビュー] Synergistic Learning of Lung Lobe Segmentation and Hierarchical Multi-Instance Classification for Automated Severity Assessment of COVID-19 in CT Images

Kelei He, Wei Zhao+9 more|arXiv (Cornell University)|May 8, 2020

COVID-19 diagnosis using AI参考文献 35被引用数 13

ひとこと要約

本稿では、3次元CT画像におけるCOVID-19の自動重症度評価を目的として、肺葉セグメンテーションと階層的マルチインスタンス分類を統合的に実行するマルチタスク・マルチインスタンス学習フレームワーク（M²UNet）を提案する。各CTスキャンを2次元パッチの「バッグ」としてモデル化し、セグメンテーションから得られる文脈的情報を分類性能の向上に活用することで、F1スコア0.938を達成し、弱教師あり重症度評価分野で最先端の手法を上回った。

ABSTRACT

Understanding chest CT imaging of the coronavirus disease 2019 (COVID-19) will help detect infections early and assess the disease progression. Especially, automated severity assessment of COVID-19 in CT images plays an essential role in identifying cases that are in great need of intensive clinical care. However, it is often challenging to accurately assess the severity of this disease in CT images, due to variable infection regions in the lungs, similar imaging biomarkers, and large inter-case variations. To this end, we propose a synergistic learning framework for automated severity assessment of COVID-19 in 3D CT images, by jointly performing lung lobe segmentation and multi-instance classification. Considering that only a few infection regions in a CT image are related to the severity assessment, we first represent each input image by a bag that contains a set of 2D image patches (with each cropped from a specific slice). A multi-task multi-instance deep network (called M$^2$UNet) is then developed to assess the severity of COVID-19 patients and also segment the lung lobe simultaneously. Our M$^2$UNet consists of a patch-level encoder, a segmentation sub-network for lung lobe segmentation, and a classification sub-network for severity assessment (with a unique hierarchical multi-instance learning strategy). Here, the context information provided by segmentation can be implicitly employed to improve the performance of severity assessment. Extensive experiments were performed on a real COVID-19 CT image dataset consisting of 666 chest CT images, with results suggesting the effectiveness of our proposed method compared to several state-of-the-art methods.

研究の動機と目的

• 胸部CT画像におけるCOVID-19の正確な自動重症度評価の課題に取り組む。これは、小規模で散在する感染病変と、重症度レベル間で類似した画像バイオマーカーを有するという複雑さに起因する。
• 画像レベルのラベルのみを用いる弱教師あり学習により、高価な詳細なアノテーションへの依存を低減する。
• 補助タスクとしての肺葉セグメンテーションから得られる文脈的情報を活用することで、分類性能を向上させる。
• 局所的なパッチレベル特徴とグローバルな疾患重症度の複雑な関係をよりよく捉えるための階層的マルチインスタンス学習戦略を開発する。
• 実世界の3次元CTデータを用いて、セグメンテーションと重症度分類を同時に最適化するマルチタスク学習の有効性を実証する。

提案手法

• 各3次元CT画像は、個々のスライスから切り出された2次元パッチの「バッグ」として表現され、グローバルな重症度ラベルのみを用いた弱教師あり学習が可能になる。
• 共有されたパッチレベルエンコーダ、肺葉セグメンテーション用のサブネットワーク、重症度評価用の分類サブネットワークを備えたマルチタスク深層ニューラルネットワーク、M²UNetが設計された。
• 分類サブネットワークでは、パッチを段階的に処理する新しい階層的マルチインスタンス学習戦略を採用し、標準的な1段階MIL手法に比べてロバスト性と性能が向上した。
• マルチタスク学習により、セグメンテーションと分類の間で特徴を共有でき、セグメンテーションが提供する空間的情報が分類精度を向上させる。
• ネットワークは、セグメンテーション用の交差エントロピー損失と、分類用の階層的MIL損失を用い、バッグレベルの監督のもとでエンドツーエンドに訓練された。
• モデルの性能は、666例の実際の3次元胸部CTスキャンデータセットを用いて評価され、各構成要素の寄与を検証するためのアブレーションスタディが実施された。

実験結果

リサーチクエスチョン

• RQ1 肺葉セグメンテーションと重症度分類の共同学習は、CT画像における自動COVID-19重症度評価の精度を向上させることができるか？
• RQ2 セグメンテーションから得られる空間的情報を組み込むことで、弱教師ありマルチインスタンス分類の性能が、疾患重症度の評価において向上するか？
• RQ3 階層的マルチインスタンス学習戦略は、従来の1段階MIL手法と比較して、パッチレベル特徴からのCOVID-19重症度分類においてどのように性能を発揮するか？
• RQ4 安定的かつ高い性能を達成するための最適なバッグサイズ（1スキャンあたりのパッチ数）は何か？
• RQ5 マルチタスク学習は、単一タスクのベースラインと比較して、セグメンテーションと分類の両方の性能をどの程度向上させるか？

主な発見

• 提案されたM²UNetは、重症度分類においてF1スコア0.938を達成し、1段階MILベースライン（F1 = 0.906）および非MILのResNet50+Maxベースラインを顕著に上回った。
• 階層的マルチインスタンス学習戦略は、標準的な1段階MIL手法と比較して、F1スコアで3.2ポイントの向上を達成した。
• マルチタスク学習により、単一タスクの分類専用バージョン（Cls. Only）と比較して、分類のF1スコアが2.5ポイント向上し、精度は5ポイント以上向上した。
• M²UNetのセグメンテーション性能（DSC = 0.785）は、単一タスクのセグメンテーション専用ベースライン（DSC = 0.759）を上回り、共有特徴学習の利点を示した。
• バッグサイズが200パッチの際にモデルは最適な性能を発揮し、100パッチ以上のバッグサイズでは性能が安定していたことから、パッチ抽出のやや変動に対してもロバストであることが示された。
• アブレーションスタディにより、階層的MIL戦略とマルチタスク学習の両方が、モデルの優れた性能を実現するために不可欠であることが確認され、各構成要素が最終的な結果に顕著な寄与をした。