[論文レビュー] Combining Visible Light and Infrared Imaging for Efficient Detection of Respiratory Infections such as COVID-19 on Portable Device

Zheng Jiang, Menghan Hu+5 more|arXiv (Cornell University)|Apr 15, 2020

Non-Invasive Vital Sign Monitoring参考文献 29被引用数 36

ひとこと要約

この論文は、マスク着用者の呼吸パターンを分析して呼吸器感染症をスクリーニングする、携帯型デュアルRGB-熱画像デバイスとBiGRU-AT分類器を提案し、実データで83.69%の精度を達成。

ABSTRACT

Coronavirus Disease 2019 (COVID-19) has become a serious global epidemic in the past few months and caused huge loss to human society worldwide. For such a large-scale epidemic, early detection and isolation of potential virus carriers is essential to curb the spread of the epidemic. Recent studies have shown that one important feature of COVID-19 is the abnormal respiratory status caused by viral infections. During the epidemic, many people tend to wear masks to reduce the risk of getting sick. Therefore, in this paper, we propose a portable non-contact method to screen the health condition of people wearing masks through analysis of the respiratory characteristics. The device mainly consists of a FLIR one thermal camera and an Android phone. This may help identify those potential patients of COVID-19 under practical scenarios such as pre-inspection in schools and hospitals. In this work, we perform the health screening through the combination of the RGB and thermal videos obtained from the dual-mode camera and deep learning architecture.We first accomplish a respiratory data capture technique for people wearing masks by using face recognition. Then, a bidirectional GRU neural network with attention mechanism is applied to the respiratory data to obtain the health screening result. The results of validation experiments show that our model can identify the health status on respiratory with the accuracy of 83.7\% on the real-world dataset. The abnormal respiratory data and part of normal respiratory data are collected from Ruijin Hospital Affiliated to The Shanghai Jiao Tong University Medical School. Other normal respiratory data are obtained from healthy people around our researchers. This work demonstrates that the proposed portable and intelligent health screening device can be used as a pre-scan method for respiratory infections, which may help fight the current COVID-19 epidemic.

研究の動機と目的

• COVID-19などの呼吸器感染症を非接触で携帯型スクリーニングできるようにする。
• デュアルモード画像（RGBと熱画像）を用いてマスクをした顔から呼吸データを抽出する。
• 抽出したデータから正常呼吸と異常呼吸を区別する深層学習分類器を提案する。
• マスクの種類・距離・カメラアングルに対する頑健性を検証する。
• 学校・病院・地域社会の設定に適した事前スキャン法を提供する。

提案手法

• FLIR OneカメラとAndroidスマートフォンを用いてRGBおよび熱画像の動画を取得する。
• RGB顔検出によってマスク済み領域を検出し、熱画像へマッピングしてROIを選択する。
• 温度変化の分散を最大化することでマスク領域内のROIを追跡し、呼吸信号を抽出する。
• BiGRUニューラルネットワークとアテンション機構を用いて呼吸を正常 vs 異常に分類する（BiGRU-AT）。
• Accuracy、Precision、Recall、F1においてBiGRU-ATをGRU-AT、BiLSTM-AT、LSTMと比較する。

実験結果

リサーチクエスチョン

• RQ1 携帯型デュアルモードカメラはマスク着用者の呼吸データを健康スクリーニングのために信頼性高く抽出できるか。
• RQ2 BiGRU-ATモデルは熱から得られた時系列データから正常と異常の呼吸パターンを識別するのに有効か。
• RQ3 マスクの種類、距離、カメラアングルの変化に対して手法はどれだけ頑健か。
• RQ4 このタスクにおける異なるリカレントアーキテクチャの比較性能はどうか。

主な発見

Model	Accuracy	Precision	Recall	F1%
BiGRU-AT	83.69%	90.23%	79.65%	84.61%
GRU-AT	79.31%	90.62%	74.24%	81.62%
BiLSTM-AT	74.46%	87.50%	69.78%	77.64%
LSTM	71.98%	72.07%	71.98%	71.97%

• BiGRU-ATモデルは正常 vs 異常呼吸の分類のテストセットで83.69%の精度を達成。
• BiGRU-ATは精度90.23%、再現率79.65%、F1スコア84.61%も達成。
• テストされたモデルの中で、BiGRU-ATはGRU-AT、BiLSTM-AT、LSTMを全指標で上回った。
• GRU-AT、BiLSTM-AT、LSTMは精度が低く、精度/再現率が異なる傾向を示し、全体的にLSTMの最悪の性能。
• 本研究は持ち運び可能で非接触の事前スキャン法を実世界のさまざまな設定で利用できることを示し、試験範囲内のマスク種別・距離に対して頑健性を示す。