[논문 리뷰] Evaluation of Predictive Data Mining Algorithms in Erythemato-Squamous Disease Diagnosis

Kwetishe Joro Danjuma, Adenike Osofisan|arXiv (Cornell University)|2015. 01. 03.

Artificial Intelligence in HealthcareHealth Professions참고 문헌 43인용 수 19

한 줄 요약

이 연구는 366명의 환자 사례로 구성된 데이터셋을 사용하여 홍반성 각성병을 진단하기 위해 나이브 베이즈, 다층 퍼셉트론, J48 의사결정수기 알고리즘을 평가한다. 10겹 교차검증을 통해 나이브 베이즈가 97.4%의 가장 높은 정확도를 기록하여 다층 퍼셉트론(96.6%)과 J48(93.5%)를 앞서며 임상 데이터 마이닝 응용 분야에서 뛰어난 예측 성능을 보였다.

ABSTRACT

A lot of time is spent searching for the most performing data mining algorithms applied in clinical diagnosis. The study set out to identify the most performing predictive data mining algorithms applied in the diagnosis of Erythemato-squamous diseases. The study used Naive Bayes, Multilayer Perceptron and J48 decision tree induction to build predictive data mining models on 366 instances of Erythemato-squamous diseases datasets. Also, 10-fold cross-validation and sets of performance metrics were used to evaluate the baseline predictive performance of the classifiers. The comparative analysis shows that the Naive Bayes performed best with accuracy of 97.4%, Multilayer Perceptron came out second with accuracy of 96.6%, and J48 came out the worst with accuracy of 93.5%. The evaluation of these classifiers on clinical datasets, gave an insight into the predictive ability of different data mining algorithms applicable in clinical diagnosis especially in the diagnosis of Erythemato-squamous diseases.

연구 동기 및 목표

• 홍반성 각성병을 진단하기 위한 가장 효과적인 예측 데이터 마이닝 알고리즘을 규명하기 위해.
• 366건의 홍반성 각성병 환자 사례로 구성된 임상 데이터셋에서 나이브 베이즈, 다층 퍼셉트론, J48 분류기의 성능을 평가하기 위해.
• 표준 성능 지표와 10겹 교차검증을 사용하여 이 알고리즘들의 예측 정확도를 비교하기 위해.
• 데이터 마이닝 기법이 복잡한 피부과 질환의 임상 진단 향상에 어떻게 적용될 수 있는지 통찰을 제공하기 위해.

제안 방법

• 모델 훈련 및 평가를 위해 366건의 홍반성 각성병 환자 사례로 구성된 데이터셋을 사용하였다.
• 나이브 베이즈, 다층 퍼셉트론, J48 의사결정수기 알고리즘의 세 가지 예측 데이터 마이닝 알고리즘을 데이터셋에 대해 훈련 및 테스트하였다.
• 모든 분류기의 성능 추정이 객관적이고 신뢰할 수 있도록 10겹 교차검증을 적용하였다.
• 정확도, 정밀도, 재현율, F-측정치와 같은 표준 지표를 사용하여 분류기의 성능을 평가하고 비교하였다.
• 표준 머신러닝 프레임워크를 사용하여 모델을 구현하였으며, 각 폴드의 결과를 종합하여 총괄 성능을 도출하였다.
• 예측 정확도와 일관성에 기반해 분류기를 순위 매기기 위한 비교 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 나이브 베이즈, 다층 퍼셉트론, J48 중에서 홍반성 각성병 진단 정확도가 가장 높은 데이터 마이닝 알고리즘은 무엇인가?
• RQ2 실제 임상 데이터셋(366건의 사례)에 적용했을 때 이 분류기들의 성능 지표는 어떻게 비교되는가?
• RQ3 10겹 교차검증 하에서 각 알고리즘이 상대적으로 얼마나 안정적이고 신뢰할 수 있는가?
• RQ4 기존 방법에 비해 데이터 마이닝 기법이 홍반성 각성병의 진단 정확도를 크게 향상시킬 수 있는가?

주요 결과

• 나이브 베이즈는 홍반성 각성병 진단에서 97.4%의 가장 높은 정확도를 기록하여 테스트된 세 알고리즘 중 최고의 성능을 보였다.
• 다층 퍼셉트론은 96.6%의 정확도로 뛰어난 성능을 보이며, 두 번째로 높은 예측 능력을 지녔다.
• J48 의사결정수기는 세 알고리즘 중에서 가장 낮은 정확도인 93.5%를 기록하여 데이터셋에 대한 일반화 능력이 떨어지는 것으로 나타났다.
• 비교 분석을 통해 나이브 베이즈가 이 임상 데이터셋에 대해 가장 신뢰할 수 있는 예측 성능을 제공하는 것으로 확인되었다.
• 세 알고리즘이 모두 높은 총괄 정확도를 보이며, 피부과 진단 분야에서 데이터 마이닝 기법의 강력한 잠재력을 보여주었다.
• 결과는 알고리즘 선택이 진단 성능에 상당한 영향을 미치며, 이 특정 데이터셋에서는 나이브 베이즈가 최적의 선택임을 시사한다.