[논문 리뷰] An Ensemble-based Multi-Criteria Decision Making Method for COVID-19 Cough Classification

Nihad Karim Chowdhury, Muhammad Ashad Kabir외 1명|arXiv (Cornell University)|2021. 10. 01.

COVID-19 diagnosis using AI참고 문헌 52인용 수 7

한 줄 요약

이 논문은 코로나19 감염 여부를 기침 소리에서 분류하기 위해 최적의 기계학습 모델을 선택하기 위해 엔트로피 가중치가 부여된 TOPSIS와 소프트 및 하드 앙상블 학습을 조합한 앙상블 기반 다기준 의사결정(MCDM) 프레임워크를 제안한다. 캐번지, 코스와라, 비루파이, 노코코다 네 개 데이터셋의 음성 특징을 사용하여, Extra-Trees와 XGBoost가 최고의 성능을 보였으며, 증상이 있는 캐번지 서브셋에서 AUC는 0.95, 정밀도는 1.0을 기록하였다.

ABSTRACT

The objectives of this research are analysing the performance of the state-of-the-art machine learning techniques for classifying COVID-19 from cough sound and identifying the model(s) that consistently perform well across different cough datasets. Different performance evaluation metrics (such as precision, sensitivity, specificity, AUC, accuracy, etc.) make it difficult to select the best performance model. To address this issue, in this paper, we propose an ensemble-based multi-criteria decision making (MCDM) method for selecting top performance machine learning technique(s) for COVID-19 cough classification. We use four cough datasets, namely Cambridge, Coswara, Virufy, and NoCoCoDa to verify the proposed method. At first, our proposed method uses the audio features of cough samples and then applies machine learning (ML) techniques to classify them as COVID-19 or non-COVID-19. Then, we consider a multi-criteria decision-making (MCDM) method that combines ensemble technologies (i.e., soft and hard) to select the best model. In MCDM, we use the technique for order preference by similarity to ideal solution (TOPSIS) for ranking purposes, while entropy is applied to calculate evaluation criteria weights. In addition, we apply the feature reduction process through recursive feature elimination with cross-validation under different estimators. The results of our empirical evaluations show that the proposed method outperforms the state-of-the-art models.

연구 동기 및 목표

• 다양한 평가 지표(예: AUC, 정밀도, 재현율)가 상충될 때 코로나19 기침 분류에 가장 우수한 성능을 보이는 기계학습 모델을 선정하는 데 도전한다.
• 개별 평가 지표에서 발생할 수 있는 편향을 줄이고, 다수의 성능 기준을 통합하는 강력한 모델 선택 프레임워크를 개발한다.
• 캐번지, 코스와라, 비루파이, 노코코다를 포함한 다양한 실생활 기침 데이터셋에서 모델 성능을 평가한다.
• 음성 기반 특징과 앙상블 의사결정을 활용해 코로나19 감지에 가장 신뢰도 있고 일관성 있는 분류기들을 규명한다.
• 특히 자원이 제한된 선별 상황에서 임상적 신뢰도를 높이기 위해 임상적 신뢰도를 높이기 위해 임상적 신뢰도를 높이기 위해 가용한 기준을 최소화하는 데 초점을 맞춘다.

제안 방법

• 멜 주파수 케풀스트럼 계수(MFCC), 크로마그램, 멜 스케일 스펙트로그램, 스펙트럼 대비, 톤 중심 등을 사용해 기침 샘플에서 음성 특징을 추출하였다.
• 특징 차원을 줄이고 모델 일반화 능력을 향상시키기 위해 다양한 추정기에서 교차검증을 통한 재귀적 특징 제거(RFECV)를 적용하였다.
• 초기 설정값이 다른 세 가지 다른 학습 전략과 다양한 초모수를 사용해 총 열다섯 개의 기계학습 분류기(Extra-Trees, XGBoost, 랜덤 포레스트, SVM 등)를 훈련시켰다.
• 각 모델과 학습 전략에 대해 여덟 가지 평가 지표(예: AUC, 정밀도, 재현율, 특이도)를 포함한 의사결정 행렬을 구축하였다.
• 각 평가 기준의 상대적 중요도와 정보량을 반영하기 위해 엔트로피 기반 가중치를 계산하였다.
• 엔트로피 기반 가중치를 사용해 이상 솔루션에 대한 상대적 가까움을 기반으로 모델 순위를 매기기 위해 이상 솔루션에 가까운 순서를 기반으로 한 기술(Technique for Order Preference by Similarity to Ideal Solution, TOPSIS)을 적용하였다.

실험 결과

연구 질문

• RQ1 기침 소리에서 코로나19를 분류할 때, 다양한 평가 지표(예: 높은 AUC지만 낮은 재현율)가 상충될 경우 어떤 기계학습 모델이 일관되게 가장 높은 성능을 보이는가?
• RQ2 상충되는 성능 지표(예: 높은 AUC지만 낮은 재현율)를 어떻게 조율하여 가장 신뢰할 수 있는 진단 모델을 식별할 수 있는가?
• RQ3 소프트 및 하드 앙상블 기법을 통합함으로써 다기준 의사결정에서 모델 선택의 강건성과 안정성이 얼마나 향상되는가?
• RQ4 다양한 학습 전략과 초모수 설정이 MCDM 프레임워크 내에서 모델 순위 및 선택 결과에 어떤 영향을 미치는가?
• RQ5 제안된 MCDM 프레임워크가 다양한 실생활 기침 데이터셋에서 기존 최신 기술 수준의 모델보다 종합적인 진단 성능 측면에서 뛰어나게 성능을 발휘할 수 있는가?

주요 결과

• 제안된 앙상블 MCDM 방법은 Extra-Trees 분류기를 사용할 때 증상이 있는 캐번지 데이터셋에서 AUC 0.95, 정밀도 1.0, 재현율 0.97의 성능을 기록하였다.
• 비루파이 데이터셋에서 Extra-Trees 분류기는 AUC 0.92, 정밀도 0.89, 재현율 0.88의 성능을 보였고, XGBoost는 AUC 0.94, 정밀도 0.89, 재현율 0.98의 성능을 기록하였다.
• 비루파이와 노코코다를 조합했을 때, Extra-Trees 분류기는 AUC 0.97, 정밀도 1.0, 재현율 0.92를 기록하여 뛰어난 일반화 능력과 낮은 가짜 음성 비율을 보였다.
• XGBoost 분류기는 조합된 비루파이+노코코다 데이터셋에서 AUC 0.98, 재현율 0.98, 정밀도 0.99를 기록하여 뛰어난 진단 신뢰도를 입증하였다.
• 앙상블 기반 MCDM 접근법은 Melek 등(2021)의 기존 최신 기술 수준의 모델을 초월했으며, 특히 노코코다 통합 데이터셋에서 정밀도와 재현율 측면에서 뛰어난 성능을 보였다.
• 트리 기반 앙성 모델(Extra-Trees, XGBoost)은 모든 데이터셋과 평가 기준에서 비트리 기반 모델을 일관되게 능가하여 기침 기반 코로나19 감지에 적합함을 시사한다.