[논문 리뷰] Performance Based Evaluation of Various Machine Learning Classification Techniques for Chronic Kidney Disease Diagnosis

Sahil Sharma, Atul Sharma외 1명|arXiv (Cornell University)|2016. 06. 28.

Artificial Intelligence in Healthcare인용 수 45

한 줄 요약

이 연구는 24개의 속성을 가진 400개의 인스턴스로 구성된 데이터셋을 사용하여 만성 신장병(CKD) 진단을 위한 12개의 기계학습 분류 기법을 평가한다. 의사결정나무 알고리즘은 98.6%의 정확도, 100%의 정밀도 및 특이도, 민감도를 기록하여 다른 모델들보다 CKD 결과 예측에서 뛰어난 성능을 보였다.

ABSTRACT

Areas where Artificial Intelligence (AI) & related fields are finding their applications are increasing day by day, moving from core areas of computer science they are finding their applications in various other domains.In recent times Machine Learning i.e. a sub-domain of AI has been widely used in order to assist medical experts and doctors in the prediction, diagnosis and prognosis of various diseases and other medical disorders. In this manuscript the authors applied various machine learning algorithms to a problem in the domain of medical diagnosis and analyzed their efficiency in predicting the results. The problem selected for the study is the diagnosis of the Chronic Kidney Disease.The dataset used for the study consists of 400 instances and 24 attributes. The authors evaluated 12 classification techniques by applying them to the Chronic Kidney Disease data. In order to calculate efficiency, results of the prediction by candidate methods were compared with the actual medical results of the subject.The various metrics used for performance evaluation are predictive accuracy, precision, sensitivity and specificity. The results indicate that decision-tree performed best with nearly the accuracy of 98.6%, sensitivity of 0.9720, precision of 1 and specificity of 1.

연구 동기 및 목표

• 만성 신장병 진단에서 다양한 기계학습 분류 기법의 성능을 평가하기 위해.
• 표준 평가 지표를 기반으로 CKD 예측에 가장 효과적인 알고리즘을 특정하기 위해.
• 의료 전문가들이 인공지능을 활용한 신뢰할 수 있고 데이터 기반의 진단 도구를 활용할 수 있도록 지원하기 위해.
• 다양한 학습 모델 간의 예측 정확도, 정밀도, 민감도 및 특이도를 비교하기 위해.
• 기계학습이 CKD 임상 의사결정 지원에 적합한지를 실증적으로 입증하기 위해.

제안 방법

• 연구는 공개된 CKD 데이터셋(400개의 인스턴스와 24개의 속성 포함)을 사용하여 12개의 분류 알고리즘을 적용하였다.
• 성능 평가는 정확도, 정밀도, 민감도 및 특이도와 같은 표준 지표를 사용하여 평가되었다.
• 각 모델은 실제 의료 진단과 비교하여 학습 및 테스트에 사용된 데이터셋을 기반으로 평가되었다.
• 신뢰할 수 있는 성능 추정을 위해 교차 검증 또는 표준 훈련-테스트 분할 기법을 사용하였다 (표준 평가 관행에 따라 암시됨).
• 비교 결과 기반으로 의사결정나무 기반 분류가 최상의 성능을 보인 모델로 선정되었다.
• 민감도, 특이도 및 총 정확도 간의 최적 균형을 도출하는 데에 초점을 맞추었다.

실험 결과

연구 질문

• RQ1 만성 신장병 진단에서 가장 높은 진단 정확도를 달성하는 기계학습 분류 기법은 무엇인가?
• RQ2 다른 알고리즘이 CKD 예측에서 정밀도, 민감도 및 특이도 측면에서 어떻게 상호 비교되는가?
• RQ3 기계학습 모델은 전통적인 진단 방법보다 CKD 검출에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 평가된 모델들 간의 민감도와 특이도 사이의 최적 트레이드오프는 무엇인가?
• RQ5 다양한 평가 지표에서 가장 신뢰성 있고 일관성 있는 성능을 보이는 모델은 무엇인가?

주요 결과

• 의사결정나무 알고리즘이 98.6%의 최고 수준의 총 정확도를 기록하였다.
• 의사결정나무 모델은 정밀도, 민감도, 특이도 모두 1.0으로 완벽한 성능을 기록하였다.
• 의사결정나무의 민감도는 0.9720으로 진단된 참 양성의 강력한 탐지 능력을 나타내었다.
• 기타 모델들은 98.6% 이하의 정확도와 1.0 이하의 정밀도/특이도 값을 기록하여 낮은 성능을 보였다.
• 이 연구는 주어진 데이터셋을 사용할 경우 의사결정나무가 CKD 진단에 매우 효과적임을 확인하였다.
• 결과는 신장내과 분야의 임상 의사결정 지원 시스템에서 의사결정나무가 견고한 선택임을 시사한다.