[논문 리뷰] Image Data collection and implementation of deep learning-based model in detecting Monkeypox disease using modified VGG16

Md Manjurul Ahsan, Muhammad Ramiz Uddin외 4명|arXiv (Cornell University)|2022. 06. 04.

Poxvirus research and outbreaks인용 수 88

한 줄 요약

이 논문은 Monkeypox2022 이미지 데이터셋과 피부 이미지에서 Monkeypox 감지를 위한 수정된 VGG16 모델을 제시하며, 두 연구 설계에 대한 평가와 LIME을 통한 설명가능성를 제공합니다.

ABSTRACT

While the world is still attempting to recover from the damage caused by the broad spread of COVID-19, the Monkeypox virus poses a new threat of becoming a global pandemic. Although the Monkeypox virus itself is not deadly and contagious as COVID-19, still every day, new patients case has been reported from many nations. Therefore, it will be no surprise if the world ever faces another global pandemic due to the lack of proper precautious steps. Recently, Machine learning (ML) has demonstrated huge potential in image-based diagnoses such as cancer detection, tumor cell identification, and COVID-19 patient detection. Therefore, a similar application can be adopted to diagnose the Monkeypox-related disease as it infected the human skin, which image can be acquired and further used in diagnosing the disease. Considering this opportunity, in this work, we introduce a newly developed "Monkeypox2022" dataset that is publicly available to use and can be obtained from our shared GitHub repository. The dataset is created by collecting images from multiple open-source and online portals that do not impose any restrictions on use, even for commercial purposes, hence giving a safer path to use and disseminate such data when constructing and deploying any type of ML model. Further, we propose and evaluate a modified VGG16 model, which includes two distinct studies: Study One and Two. Our exploratory computational results indicate that our suggested model can identify Monkeypox patients with an accuracy of $97\pm1.8\%$ (AUC=97.2) and $88\pm0.8\%$ (AUC=0.867) for Study One and Two, respectively. Additionally, we explain our model's prediction and feature extraction utilizing Local Interpretable Model-Agnostic Explanations (LIME) help to a deeper insight into specific features that characterize the onset of the Monkeypox virus.

연구 동기 및 목표

• 공개 포털에서 소스된 Monkeypox 이미지 데이터셋을 공개적으로 이용 가능하게 만들어 ML 연구를 가능하게 한다.
• Monkeypox를 비 Monkeypox 이미지와 구별하기 위한 저수정된 VGG16 전이학습 모델을 개발한다.
• LIME을 사용하여 모델 예측의 설명가능성을 제공하고 구별적인 이미지 영역을 식별한다.
• 작고 중간 규모의 데이터에서 두 데이터셋 설정에서 모델 성능을 평가하여 소량의 데이터로의 가능성을 평가한다.
• 데이터 수집의 한계점을 강조하고 향후 데이터 수집 및 모델 배치를 위한 방향을 제시한다.

제안 방법

• Monkeypox2022 데이터셋을 Monkeypox, Chickenpox, Measles, Normal skin 이미지를 포함하는 오픈 소스 이미지에서 구성하고 Keras ImageDataGenerator를 사용한 회전, 이동, 확대, 전단, 뒤집기, 반사 채움으로 데이터를 증대한다.
• binary classification (Monkeypox vs Others)용 업데이트된 레이어를 추가한 수정된 VGG16 아키텍처를 구현한다.
• 그리드 탐색으로 두 연구의 하이퍼파라미터를 튜닝; 연구 1은 더 작은 배치와 에포크를 사용하고 연구 2는 Adam 옵티마이저를 이용해 더 큰 배치와 에포크를 사용한다.
• LIME을 적용하여 이미지 수준의 설명을 생성하고 예측에 기여하는 두드러진 영역을 식별한다.
• 정확도, 정밀도, 재현율, F1-score, 민감도, 특이도, AUC를 사용해 성능을 평가하고 작은 표본 크기로 인해 95% 신뢰 구간과 함께 결과를 보고한다.
• 데이터셋을 train/test로 80/20으로 분할; 연구 1: Monkeypox 43건 전체( train 34, test 9) 및 Others 47건 전체(train 38, test 9); 연구 2: Monkeypox 증강 587( train 470, test 117) 및 Others 1167(train 933, test 234).

실험 결과

연구 질문

• RQ1 공개적으로 이용 가능한 Monkeypox 이미지 데이터셋이 피부 이미지에서 Monkeypox를 ML 기반으로 효과적으로 탐지할 수 있는가?
• RQ2 수정된 VGG16 모델이 소형~중형 데이터셋에서 Monkeypox와 비-Monkeypox 이미지를 구별하는 데 얼마나 잘 작동하는가?
• RQ3 데이터 증강을 활용한 전이학습 접근 방식이 초기 Monkeypox 이미지 분류 연구에서 신뢰할 수 있는 성능을 내는가?
• RQ4 LIME 설명이 Monkeypox 예측을 이끄는 해부학적으로 타당한 영역을 드러내어 모델 해석가능성을 지원하는가?
• RQ5 실시간 스크리닝이나 모바일 도구에서 이러한 모델의 배치에 대한 한계점과 실용적 고려사항은 무엇인가?

주요 결과

연구	데이터셋	정확도	정밀도	재현율	F1-점수	민감도	특이도
Study One	Train set	0.97 ± 0.018	0.97 ± 0.018	0.97 ± 0.018	0.97 ± 0.018	0.973 ± 0.017	0.97 ± 0.018
Study One	Test set	0.83 ± 0.085	0.88 ± 0.072	0.83 ± 0.085	0.83 ± 0.85	1	0.66 ± 0.12
Study Two	Train set	0.88 ± 0.008	0.86 ± 0.009	0.87 ± 0.008	0.86 ± 0.009	0.83 ± 0.010	0.89 ± 0.008
Study Two	Test set	0.78 ± 0.022	0.75 ± 0.023	0.75 ± 0.023	0.75 ± 0.023	0.65 ± 0.028	0.83 ± 0.019

• 연구 1은 높은 training accuracy(0.97)와 강한 AUC(0.972)를 달성했지만 테스트 성능은 낮아(정확도 0.83, AUC 0.972 0.748 ROC 곡선 보고됨).
• 연구 2는 데이터셋 불균형으로 인해 전반적인 성능이 낮아졌으며(train accuracy 0.88, test accuracy 0.78; 테스트 세트 AUC 0.748).
• LIME 시각화는 예측을 이끄는 영역을 강조하고 잘못 분류된 사례를 해석하는 데 도움을 주었다(예: 연구 1에서 무증상 영역에 초점을 맞춰 Monkeypox를 Chickenpox로 잘못 분류함).
• 수정된 VGG16를 이용한 전이학습은 소형~중형 데이터셋에서 78%–97%의 정확도를 달성할 수 있어 제한된 데이터로도 이미지 기반 Monkeypox 스크리닝의 가능성을 시사한다.
• 저자들은 데이터 수집이 확장됨에 따라 더 많은 연구와 비교를 촉진하기 위해 공개 Monkeypox 데이터셋을 제공한다.
• 본 연구는 설명가능성(LIME)을 임상 시험 준비 및 잠재적 실시간 스크리닝 애플리케이션의 요건으로 강조한다