[論文レビュー] An Approach Towards Physics Informed Lung Ultrasound Image Scoring Neural Network for Diagnostic Assistance in COVID-19

Mahesh Raveendranatha Panicker, Yale Tung‐Chen+5 more|arXiv (Cornell University)|Jun 13, 2021

COVID-19 diagnosis using AI参考文献 26被引用数 5

ひとこと要約

本稿では、音響伝搬に基づく特徴量とグレースケール肺エコー（LUS）画像を統合する物理知性を備えたディープラーニングフレームワーク、LUSNetを提案する。このモデルは、COVID-19肺感染症の重症度を5段階に分類する。U-Netベースのアーキテクチャを用い、特徴マップを教師なしで学習させた結果、10例の確定COVID-19患者から得た5,000フレームのLUS画像を用いた交差検証で、97％の正確性、93％の感度、98％の特異性を達成した。

ABSTRACT

Ultrasound is fast becoming an inevitable diagnostic tool for regular and continuous monitoring of the lung with the recent outbreak of COVID-19. In this work, a novel approach is presented to extract acoustic propagation-based features to automatically highlight the region below pleura, which is an important landmark in lung ultrasound (LUS). Subsequently, a multichannel input formed by using the acoustic physics-based feature maps is fused to train a neural network, referred to as LUSNet, to classify the LUS images into five classes of varying severity of lung infection to track the progression of COVID-19. In order to ensure that the proposed approach is agnostic to the type of acquisition, the LUSNet, which consists of a U-net architecture is trained in an unsupervised manner with the acoustic feature maps to ensure that the encoder-decoder architecture is learning features in the pleural region of interest. A novel combination of the U-net output and the U-net encoder output is employed for the classification of severity of infection in the lung. A detailed analysis of the proposed approach on LUS images over the infection to full recovery period of ten confirmed COVID-19 subjects shows an average five-fold cross-validation accuracy, sensitivity, and specificity of 97%, 93%, and 98% respectively over 5000 frames of COVID-19 videos. The analysis also shows that, when the input dataset is limited and diverse as in the case of COVID-19 pandemic, an aided effort of combining acoustic propagation-based features along with the gray scale images, as proposed in this work, improves the performance of the neural network significantly and also aids the labelling and triaging process.

研究の動機と目的

• COVID-19患者の肺エコー（LUS）画像の自動スコアリングを目的とした、強固で物理知性を備えたニューラルネットワークの開発。
• 音響伝搬に基づく特徴量を標準的なグレースケールLUS画像と統合することで、低データ環境下での診断性能の向上。
• U-Netエンコーダ-デコーダアーキテクチャを用いて、胸膜領域における教師なし特徴量学習の実現。
• 肺感染症の重症度を5段階に分類することで、臨床的トリアージおよび疾患進行の追跡を支援。
• 物理的特徴マップを活用することで、多様な画像収集デバイスおよびプロトコルに対してもモデルの一般化を確保。

提案手法

• LUS画像から音響伝搬に基づく特徴量を抽出し、重要な解剖学的ランドマークである胸膜領域を強調する。
• グレースケールLUS画像と物理的特徴マップを統合したマルチチャネル入力を構築し、入力表現を豊かにする。
• 音響特徴マップを用いて、教師なしでU-Netベースのニューラルネットワーク（LUSNet）を学習させ、胸膜領域の特徴を学習する。
• U-Netのエンコーダーとデコーダーの出力を統合し、分類に適した包括的な特徴表現を生成する。
• 統合された特徴表現を用いて、LUS画像を肺感染症の5段階の重症度に分類する。
• 10例の確定COVID-19患者の感染から回復までの期間にわたって収集した5,000フレームのLUS画像を用い、5分割交差検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 物理知性を備えた音響伝搬特徴量は、COVID-19の低データLUS分類においてディープラーニングモデルの性能を向上させることができるか？
• RQ2 音響特徴マップを用いた教師なしU-Netトレーニング戦略は、胸膜領域の異常を同定するためにどの程度効果的か？
• RQ3 グレースケール画像と物理的特徴量を統合することで、多様なLUS画像収集環境下での分類の正確性と頑健性がどの程度向上するか？
• RQ4 提案手法は、アノテーションデータが限られる臨床現場において、信頼性のあるトリアージおよび疾患進行のモニタリングを支援できるか？
• RQ5 実世界の多様なLUS動画データにおいて、肺感染症の重症度の異なる段階でのモデルの性能は、どのように比較されるか？

主な発見

• 提案されたLUSNetは、10例の確定COVID-19患者から得た5,000フレームのLUS画像を用いた5分割交差検証で97％の正確性を達成した。
• 感度93％、特異度98％が記録され、感染肺領域の検出において優れた性能を示した。
• 物理的特徴量とグレースケール画像の統合により、グレースケール画像のみのベースラインと比較して、モデルの性能が顕著に向上した。
• 音響特徴マップを用いた教師なし事前学習により、ラベル付きデータが限られる状況でも効果的な特徴量学習が可能となった。
• 物理知性に基づく特徴抽出のおかげで、LUS画像収集デバイスやプロトコルの違いに対してもモデルの頑健性が確保された。
• U-Netのエンコーダーとデコーダーの出力統合により、局所的特徴と文脈的特徴の両方を捉えることができ、分類性能が向上した。