[논문 리뷰] Abnormal respiratory patterns classifier may contribute to large-scale screening of people infected with COVID-19 in an accurate and unobtrusive manner

Yunlu Wang, Menghan Hu외 4명|arXiv (Cornell University)|2020. 02. 12.

Anomaly Detection Techniques and Applications참고 문헌 22인용 수 197

한 줄 요약

본 논문은 비접촉 깊이 카메라 데이터를 이용해 여섯 가지 호흡 패턴을 분류하기 위해 호흡 시뮬레이션 모델(RSM)을 포함한 BI-AT-GRU를 제안하고, 실제 데이터에서 94.5%의 정확도를 달성합니다.

ABSTRACT

Research significance: The extended version of this paper has been accepted by IEEE Internet of Things journal (DOI: 10.1109/JIOT.2020.2991456), please cite the journal version. During the epidemic prevention and control period, our study can be helpful in prognosis, diagnosis and screening for the patients infected with COVID-19 (the novel coronavirus) based on breathing characteristics. According to the latest clinical research, the respiratory pattern of COVID-19 is different from the respiratory patterns of flu and the common cold. One significant symptom that occurs in the COVID-19 is Tachypnea. People infected with COVID-19 have more rapid respiration. Our study can be utilized to distinguish various respiratory patterns and our device can be preliminarily put to practical use. Demo videos of this method working in situations of one subject and two subjects can be downloaded online. Research details: Accurate detection of the unexpected abnormal respiratory pattern of people in a remote and unobtrusive manner has great significance. In this work, we innovatively capitalize on depth camera and deep learning to achieve this goal. The challenges in this task are twofold: the amount of real-world data is not enough for training to get the deep model; and the intra-class variation of different types of respiratory patterns is large and the outer-class variation is small. In this paper, considering the characteristics of actual respiratory signals, a novel and efficient Respiratory Simulation Model (RSM) is first proposed to fill the gap between the large amount of training data and scarce real-world data. The proposed deep model and the modeling ideas have the great potential to be extended to large scale applications such as public places, sleep scenario, and office environment.

연구 동기 및 목표

• COVID-19 선별과 관련된 비정상 호흡 패턴의 원격적이고 눈에 거슬리지 않는 탐지를 촉진한다.
• Respiratory Simulation Model(RSM)을 통해 대규모 합성 학습 데이터를 생성하여 데이터 부족 문제를 완화한다.
• 호흡 파형 특성에 맞춘 딥 러닝 분류기를 개발하고 검증한다.

제안 방법

• 매개변수 a_i, b_i, c_i, d_i와 잡음을 갖는 다양한 합성 호흡 파형을 생성하기 위해 Respiratory Simulation Model(RSM)을 도입한다.
• Kinect v2와 ROI 기반 깊이 신호를 사용하여 여섯 가지 패턴을 모방하는 20명의 피험자로부터 실제 세계의 깊이 카메라 데이터를 수집한다.
• 시간-시퀀스 데이터로부터 여섯 가지 호흡 패턴을 분류하기 위해 주의 메커니즘을 갖춘 양방향 GRU인 BI-AT-GRU를 제안한다.
• 학습 시에는 RSM으로 생성된 데이터를 사용하고; 테스트 시에는 깊이 카메라로 측정된 데이터를 평가한다.
• BI-AT-GRU를 학습시키고 성능을 평가하기 위해 BI-AT-LSTM, GRU, LSTM과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 시뮬레이션된 호흡 데이터로 학습된 심층 신경망이 깊이 카메라 신호로부터 실제 세계의 호흡 패턴을 정확하게 분류할 수 있는가?
• RQ2 양방향 및 주의(attention) 메커니즘이 표준 GRU/LSTM 모델 대비 호흡 패턴 분류 성능을 향상시키는가?
• RQ3 제안된 BI-AT-GRU의 실제 세계 깊이 카메라 데이터에서 여섯 가지 패턴에 대한 분류 정확도는 얼마인가?

주요 결과

모델	정확도	정밀도	재현율	F1
BI-AT-GRU	94.5%	94.4%	95.1%	94.8%
BI-AT-LSTM	90.1%	90.1%	91.9%	91.0%
GRU	89.6%	89.2%	91.1%	90.1%
LSTM	88.1%	87.8%	91.3%	89.5%

• BI-AT-GRU는 실제 데이터에서 94.5%의 정확도, 94.4%의 정밀도, 95.1%의 재현율, 94.8%의 F1를 달성한다.
• BI-AT-GRU는 동일한 테스트 세트에서 BI-AT-LSTM, GRU, LSTM보다 우수한 성능을 보인다.
• 양방향 및 주의 메커니즘은 비양방향/비주목 메커니즘 대비 성능을 향상시킨다.
• 분류 오류는 주로 진폭 관련 변동성과 움직임으로 인해 Cheyne-Stokes와 Central-Apnea를 구분할 때 발생한다.
• 이 접근법은 원격, 비개입적 호흡 패턴 분류의 실현 가능성과 대규모 적용 가능성을 보여준다.