[논문 리뷰] StrokeSave: A Novel, High-Performance Mobile Application for Stroke Diagnosis using Deep Learning and Computer Vision

Ankit Gupta|arXiv (Cornell University)|2019. 07. 09.

Retinal Imaging and Analysis참고 문헌 7인용 수 10

한 줄 요약

StrokeSave는 스마트폰을 통해 생체신호, 얼굴 영상, 음성 기록 및 망막 스캔을 활용하여 심부전을 자가 진료할 수 있도록 하는 모바일 앱입니다. 심부전 관련 망막병증을 탐지하기 위한 CNN, 혈관 데이터를 분석하기 위한 SVM, 음성 분석을 위한 RNN을 결합함으로써 종합 정확도 95.0%를 달성하여 임상 검사의 정확도를 뛰어넘습니다.

ABSTRACT

According to the WHO, Cerebrovascular Stroke, or CS, is the second largest cause of death worldwide. Current diagnosis of CS relies on labor and cost intensive neuroimaging techniques, unsuitable for areas with inadequate access to quality medical facilities. Thus, there is a great need for an efficient diagnosis alternative. StrokeSave is a platform for users to self-diagnose for prevalence to stroke. The mobile app is continuously updated with heart rate, blood pressure, and blood oxygen data from sensors on the patient wrist. Once these measurements reach a threshold for possible stroke, the patient takes facial images and vocal recordings to screen for paralysis attributed to stroke. A custom designed lens attached to a phone's camera then takes retinal images for the deep learning model to classify based on presence of retinopathy and sends a comprehensive diagnosis. The deep learning model, which consists of a RNN trained on 100 voice slurred audio files, a SVM trained on 410 vascular data points, and a CNN trained on 520 retinopathy images, achieved a holistic accuracy of 95.0 percent when validated on 327 samples. This value exceeds that of clinical examination accuracy, which is around 40 to 89 percent, further demonstrating the vital utility of such a medical device. Through this automated platform, users receive efficient, highly accurate diagnosis without professional medical assistance, revolutionizing medical diagnosis of CS and potentially saving millions of lives.

연구 동기 및 목표

• 뇌졸중은 전 세계 사망 원인 중 두 번째로 높은 부담을 안고 있으며, 이를 해결하기 위해 낮은 비용으로 신속한 진단을 가능하게 하여 낙후된 지역에서의 진료 접근성을 높이고자 합니다.
• 비싼 접근성이 낮은 뇌영상 검사에 대한 의존도를 줄이기 위해 모바일 기반의 진단 플랫폼을 개발하고자 합니다.
• 생체신호, 음성, 얼굴, 망막 등의 다중 모odal 데이터를 하나의 진단 시스템에 통합하여 뇌졸중 탐지 정확도를 향상시키고자 합니다.
• 기존 임상 검사의 정확도가 40%에서 89% 사이이므로, 이를 뛰어넘는 진단 정확도를 확보하고자 합니다.
• 전문 의료 감독 없이도 사용자 친화적이고 자동화된 도구를 제공하여 자가 진료를 가능하게 하고자 합니다.

제안 방법

• 앱은 심박수, 혈압, 산소포화도 등의 생체신호를 측정하는 웨어러블 센서로부터 실시간 데이터를 수집합니다.
• 생리적 임계값이 뇌졸중 위험을 시사할 경우, 앱은 사용자가 얼굴 영상과 음성 기록을 촬영하여 마비 여부를 확인하도록 유도합니다.
• 스마트폰 카메라에 부착된 전용 렌즈를 통해 망막 영상을 촬영하여 분석합니다.
• 520장의 망막병증 영상 데이터를 기반으로 CNN을 훈련시켜 뇌졸중 관련 망막병증 징후를 탐지합니다.
• 410개의 혈관 데이터 포인트를 기반으로 SVM을 훈련시어 생리적 지표를 바탕으로 뇌졸중 위험을 평가합니다.
• 100개의 뚜렷하지 않은 말하기 음성 샘플을 기반으로 RNN을 훈련시어 뇌졸중과 관련된 언어 장애를 탐지합니다.

실험 결과

연구 질문

• RQ1 다중 모달 생리적 및 시각적 데이터를 통합한 모바일 앱이 기존 임상 방법에 비해 뇌졸중 진단 정확도를 향상시킬 수 있는가?
• RQ2 제한된 데이터셋(예: 100개의 음성 샘플)으로 훈련된 딥러닝 모델이 조기 뇌졸중 징후를 얼마나 잘 탐지할 수 있는가?
• RQ3 전용 렌즈를 사용한 스마트폰 카메라를 통한 망막 영상 촬영이 뇌졸중 관련 망막병증을 신뢰성 있게 탐지할 수 있는가?
• RQ4 CNN + SVM + RNN의 병합 모델의 종합 성능이 개별 모델보다 어떻게 다른가?
• RQ5 이러한 시스템이 자원이 부족한 환경에서 정확하고 저비용의 뇌졸중 스크리닝을 가능하게 할 수 있는가?

주요 결과

• 종합 진단 모델은 327개의 검증 샘플에서 95.0%의 정확도를 기록하여 임상 검사의 정확도(40–89%)를 뚜렷이 뛰어넘었습니다.
• CNN 모듈은 단지 520개의 훈련 샘플만으로도 망막 영상에서 망막병증을 효과적으로 분류하는 데 성공했습니다.
• RNN 모델은 100개의 뚜렷하지 않은 말하기 음성 파일을 분석하여 뇌졸중과 관련된 신경학적 이상 징후를 조기에 탐지하는 데 기여했습니다.
• SVM 모델은 410개의 혈관 데이터 포인트를 효과적으로 처리하여 생체지표를 기반으로 뇌졸중 위험을 평가하는 데 성공했습니다.
• 생체신호, 음성, 얼굴, 망막 등의 다양한 데이터 모달을 통합함으로써 진단의 강건성과 종합 정확도가 향상되었습니다.
• 시스템은 전문 의료 인력의 개입 없이도 자동으로 자가 진료를 가능하게 하여 낙후된 지역 인구에 대한 확장 가능한 솔루션을 제공합니다.