[논문 리뷰] Combining Visible Light and Infrared Imaging for Efficient Detection of Respiratory Infections such as COVID-19 on Portable Device

Zheng Jiang, Menghan Hu외 5명|arXiv (Cornell University)|2020. 04. 15.

Non-Invasive Vital Sign Monitoring참고 문헌 29인용 수 36

한 줄 요약

이 논문은 마스크를 쓴 개인의 호흡 패턴을 분석하여 호흡기 감염을 선별하는 휴대용 이중 RGB-열 영상 장치와 BiGRU-AT 분류기를 제시하고, 실제 데이터에서 83.69%의 정확도를 달성합니다.

ABSTRACT

Coronavirus Disease 2019 (COVID-19) has become a serious global epidemic in the past few months and caused huge loss to human society worldwide. For such a large-scale epidemic, early detection and isolation of potential virus carriers is essential to curb the spread of the epidemic. Recent studies have shown that one important feature of COVID-19 is the abnormal respiratory status caused by viral infections. During the epidemic, many people tend to wear masks to reduce the risk of getting sick. Therefore, in this paper, we propose a portable non-contact method to screen the health condition of people wearing masks through analysis of the respiratory characteristics. The device mainly consists of a FLIR one thermal camera and an Android phone. This may help identify those potential patients of COVID-19 under practical scenarios such as pre-inspection in schools and hospitals. In this work, we perform the health screening through the combination of the RGB and thermal videos obtained from the dual-mode camera and deep learning architecture.We first accomplish a respiratory data capture technique for people wearing masks by using face recognition. Then, a bidirectional GRU neural network with attention mechanism is applied to the respiratory data to obtain the health screening result. The results of validation experiments show that our model can identify the health status on respiratory with the accuracy of 83.7\% on the real-world dataset. The abnormal respiratory data and part of normal respiratory data are collected from Ruijin Hospital Affiliated to The Shanghai Jiao Tong University Medical School. Other normal respiratory data are obtained from healthy people around our researchers. This work demonstrates that the proposed portable and intelligent health screening device can be used as a pre-scan method for respiratory infections, which may help fight the current COVID-19 epidemic.

연구 동기 및 목표

• COVID-19와 같은 호흡기 감염의 비접촉식, 휴대용 스크리닝을 가능하게 하는 것을 목표로 한다.
• RGB 및 열 영상의 이중 모드를 사용하는 마스크 착용 얼굴에서 호흡 데이터 추출을 개발한다.
• 추출된 데이터에서 정상 호흡과 비정상 호흡을 구분하는 심층 학습 분류기를 제안한다.
• 마스크 유형, 거리, 카메라 각도에 걸쳐 견고성을 검증한다.
• 학교, 병원, 지역 커뮤니티 환경에 적합한 사전 스크린 방법을 제공한다.

제안 방법

• FLIR One 카메라와 Android 폰으로 RGB 및 열 영상 촬영.
• RGB 얼굴 검출을 통해 마스크 영역을 탐지하고 열 영상으로 매핑하여 ROI를 선택한다.
• 온도 변화 분산을 최대화하여 마스크 영역 내 ROI를 추적하고 호흡 신호를 추출한다.
• 주목 메커니즘을 갖춘 BiGRU 신경망(BiGRU-AT)을 사용해 호흡을 정상/비정상으로 분류한다.
• 정확도, 정밀도, 재현율, F1에서 BiGRU-AT를 GRU-AT, BiLSTM-AT 및 LSTM과 비교한다.

실험 결과

연구 질문

• RQ1 휴대용 이중 모드 카메라가 마스크를 쓴 사람들로부터 건강 선별을 위한 호흡 데이터를 신뢰성 있게 추출할 수 있는가?
• RQ2 BiGRU-AT 모델이 열 영상에서 얻은 시계열 데이터로 정상 호흡과 비정상 호흡 패턴을 구분하는 데 효과적인가?
• RQ3 마스크 유형, 거리, 카메라 각도 변화에 방법이 얼마나 견고한가?
• RQ4 이 작업에서 다양한 순환 신경망 아키텍처의 비교 성능은 어떠한가?

주요 결과

• BiGRU-AT 모델은 건강한 호흡과 비정상 호흡을 분류하는 테스트 세트에서 83.69%의 정확도를 달성했다.
• BiGRU-AT는 또한 정밀도 90.23%, 재현율 79.65%, F1 점수 84.61%를 달성했다.
• 실험된 모델들 중 BiGRU-AT가 모든 지표에서 GRU-AT, BiLSTM-AT, LSTM보다 우수했다.
• GRU-AT, BiLSTM-AT, LSTM은 정확도가 낮고 정밀도/재현율이 다양하며, LSTM이 전반적으로 최악의 성능을 보였다.
• 본 연구는 다양한 실제 환경에서 사용할 수 있는 휴대용, 비접촉식 사전 스크린 방법을 보여주며, 테스트 범위 내에서 마스크 유형 및 거리에도 강건성을 나타낸다.