[論文レビュー] Semi-Supervised Active Learning for COVID-19 Lung Ultrasound Multi-symptom Classification

Lei Liu, Wentao Lei+4 more|arXiv (Cornell University)|Sep 9, 2020

COVID-19 diagnosis using AI参考文献 27被引用数 4

ひとこと要約

本論文は、ラベル相関をマルチラベルマージン戦略と信頼性検証を用いて活用することで、COVID-19肺超音波画像のマルチ症状分類のための半教師付きTwo-Stream Active Learning（TSAL）フレームワークを提案する。この手法により、ラベル付けコストを削減し、完全な学習データの14.7%のみを用いて最先端の性能を達成した。評価は、71名の患者からなる6,836枚の画像を含む新規の大規模データセット（COVID19-LUSMS）を用いて実施された。

ABSTRACT

Ultrasound (US) is a non-invasive yet effective medical diagnostic imaging technique for the COVID-19 global pandemic. However, due to complex feature behaviors and expensive annotations of US images, it is difficult to apply Artificial Intelligence (AI) assisting approaches for lung's multi-symptom (multi-label) classification. To overcome these difficulties, we propose a novel semi-supervised Two-Stream Active Learning (TSAL) method to model complicated features and reduce labeling costs in an iterative procedure. The core component of TSAL is the multi-label learning mechanism, in which label correlations information is used to design multi-label margin (MLM) strategy and confidence validation for automatically selecting informative samples and confident labels. On this basis, a multi-symptom multi-label (MSML) classification network is proposed to learn discriminative features of lung symptoms, and a human-machine interaction is exploited to confirm the final annotations that are used to fine-tune MSML with progressively labeled data. Moreover, a novel lung US dataset named COVID19-LUSMS is built, currently containing 71 clinical patients with 6,836 images sampled from 678 videos. Experimental evaluations show that TSAL using only 20% data can achieve superior performance to the baseline and the state-of-the-art. Qualitatively, visualization of both attention map and sample distribution confirms the good consistency with the clinic knowledge.

研究の動機と目的

• 臨床現場における複数のCOVID-19症状を有する肺超音波画像のラベル付けにかかる高コストと複雑さに対処すること。
• アクティブラーニングと半教師付きラーニングを用いて、肺超音波画像のマルチ症状・マルチラベル分類におけるラベル付け作業を軽減すること。
• ラベル相関を活用することで、低データ環境下におけるサンプル選択と偽ラベルの信頼性を向上させるモデルの開発。
• COVID-19症状分類のための新規の大規模でマルチラベルアノテート済みの肺超音波データセット（COVID19-LUSMS）の構築と公開。
• 説明可能な注目可視化により、モデルの予測が臨床的専門知識と整合することを検証すること。

提案手法

• 情報性の高い画像を選択するためのサンプルストリームと、信頼性の高い偽ラベルを割り当てるためのラベルストリームを備えたTwo-Stream Active Learning（TSAL）フレームワークを提案する。
• ラベル相関を活用して、不確実性が高く情報量の大きいサンプルを優先するマルチラベルマージン（MLM）戦略を採用する。
• 信頼性の高い偽ラベルのフィルタリングと割り当てを可能にする信頼性検証メカニズムを導入し、人間によるラベル付けへの依存を低減する。
• 複数の症状を同時に分類可能なマルチシンプトム・マルチラベル（MSML）分類ネットワークを用いて、肺超音波画像から判別可能な特徴を学習する。
• 最終的なラベル付けを確認するための人間と機械の協働（HMI）を統合し、最小限の人的ラベル付けで反復的なモデルの最適化を可能にする。
• 説明可能性のためにGrad-CAMを活用し、注目マップを可視化することで、モデルの注目領域が臨床的診断知識と整合することを検証する。

実験結果

リサーチクエスチョン

• RQ1 半教師付きアクティブラーニングフレームワークは、性能を損なわせることなく、マルチ症状肺超音波画像分類におけるラベル付けコストを削減できるか？
• RQ2 マルチラベルマージン（MLM）戦略によるラベル相関モデリングは、アクティブラーニングにおける情報性の高いサンプルの選択にどの程度効果的か？
• RQ3 偽ラベルの信頼性検証は、アクティブラーニングループにおける人的ラベル付け作業をどの程度削減できるか？
• RQ4 提案されたTSALフレームワークは、全ラベル付きデータの20%未満を用いて、完全教師あり学習と同等の性能を達成できるか？
• RQ5 訓練済みモデルの注目マップは、肺超音波画像における病変領域を特定する臨床的専門知識と一致するか？

主な発見

• TSALフレームワークは、完全な学習データの14.7%のみを用いても、ベースラインおよび最先端の手法を上回る優れた分類性能を達成した。
• マルチラベルマージン（MLM）戦略は、すべてのアクティブラーニングイテレーションにおいて最高の精度と安定性を示し、20回目のイテレーションで最良の最終性能を達成した。
• Bラインおよび胸膜効果の特異度が顕著に向上した（81.81%から92.49%）ことから、クラス不均衡の効果的対処が可能であった。
• 信頼性検証を適用した場合、最初のイテレーション以降、人的ラベル付け作業がほぼゼロにまで削減された。これは、ラベルストリームの高い効率性を示している。
• Grad-CAMの可視化により、モデルの注目領域と臨床的診断知識との間に強い一貫性が確認された。特にAラインおよびBライン特徴の特定において顕著であった。
• 提案手法は、異なる戦略において、ラベル付きデータの16.6%～27.6%を用いて、完全教師ありベースラインと同等またはそれ以上の性能を達成した。