[논문 리뷰] Performance Evaluation of Machine Learning Algorithms in Post-operative Life Expectancy in the Lung Cancer Patients

Kwetishe Joro Danjuma|arXiv (Cornell University)|2015. 04. 17.

Artificial Intelligence in Healthcare참고 문헌 53인용 수 48

한 줄 요약

이 연구는 UCI Thoracic Surgery 데이터셋을 사용하여 폐암 환자의 흉부 수술 후 생존 기간을 예측하기 위해 다층 퍼셉트론, J48, 나이브 베이즈와 같은 기계학습 알고리즘을 평가한다. 분류된 10겹 교차검증을 통해 다층 퍼셉트론이 82.3%의 최고 정확도를 기록하여 J48(81.8%)와 나이브 베이즈(74.4%)를 앞서며, 실제 임상 데이터를 활용한 임상 예후 모델링에서의 효과성을 입증한다.

ABSTRACT

The nature of clinical data makes it difficult to quickly select, tune and apply machine learning algorithms to clinical prognosis. As a result, a lot of time is spent searching for the most appropriate machine learning algorithms applicable in clinical prognosis that contains either binary-valued or multi-valued attributes. The study set out to identify and evaluate the performance of machine learning classification schemes applied in clinical prognosis of post-operative life expectancy in the lung cancer patients. Multilayer Perceptron, J48, and the Naive Bayes algorithms were used to train and test models on Thoracic Surgery datasets obtained from the University of California Irvine machine learning repository. Stratified 10-fold cross-validation was used to evaluate baseline performance accuracy of the classifiers. The comparative analysis shows that multilayer perceptron performed best with classification accuracy of 82.3%, J48 came out second with classification accuracy of 81.8%, and Naive Bayes came out the worst with classification accuracy of 74.4%. The quality and outcome of the chosen machine learning algorithms depends on the ingenuity of the clinical miner.

연구 동기 및 목표

• 폐암 환자의 수술 후 생존 기간 예측을 위한 임상 예후에 적합한 기계학습 분류 알고리즘을 식별하고 평가하는 것.
• 실제 임상 데이터셋에서 다층 퍼셉트론, J48, 나이브 베이즈의 성능을 비교하는 것.
• 폐암 수술 후 생존 결과를 예측하는 데 가장 정확한 기계학습 모델을 규명하는 것.
• 감독 학습 기법을 활용한 종양학 분야의 임상 데이터 마이닝에 대한 성능 기준을 제공하는 것.

제안 방법

• 연구는 기계학습 데이터베이스에서 제공하는 UCI 기계학습 레포지토리의 흉부 수술 데이터셋을 사용하였으며, 이는 폐암 환자의 임상적 특성을 포함한다.
• 다층 퍼셉트론, J48, 나이브 베이즈의 세 가지 기계학습 알고리즘을 데이터셋에 대해 훈련 및 테스트하였다.
• 모델 성능 평가의 객관성과 신뢰성을 확보하기 위해 분류된 10겹 교차검증을 적용하였다.
• 모델 간 성능 비교를 위한 주요 지표로 분류 정확도를 사용하였다.
• 데이터셋은 이진 및 다중값 임상적 특성을 모두 포함하여 실제 임상 데이터의 복잡성을 반영하였다.

실험 결과

연구 질문

• RQ1 어느 기계학습 알고리즘이 폐암 환자의 수술 후 생존 기간 예측에서 가장 우수한 성능을 보이는가?
• RQ2 다층 퍼셉트론, J48, 나이브 베이즈는 임상 예후 과제에서 분류 정확도 측면에서 어떻게 비교되는가?
• RQ3 데이터의 복잡성(이진 및 다중값 특성)은 임상 예측에서 모델 성능에 어느 정도 영향을 미치는가?
• RQ4 기계학습 모델은 실제 임상 데이터셋에서 생존 예측에 대해 신뢰할 수 있는 성능를 달성할 수 있는가?

주요 결과

• 다층 퍼셉트론은 수술 후 생존 기간 예측에서 82.3%의 최고 분류 정확도를 기록하였다.
• J48는 81.8%의 높은 정확도를 기록하며 강력한 성능를 보였다.
• 나이브 베이즈는 세 모델 중에서 가장 낮은 정확도 74.4%를 기록하였다.
• 성능 차이들은 임상 데이터 마이닝에서 알고리즘 선택의 중요성을 강조한다.
• 분류된 10겹 교차검증은 모든 모델에 대해 안정적이고 신뢰할 수 있는 성능 추정을 제공하였다.