[논문 리뷰] The Power Of Simplicity: Why Simple Linear Models Outperform Complex Machine Learning Techniques -- Case Of Breast Cancer Diagnosis

Muhammad Arshad, Sakib Shahriar외 1명|arXiv (Cornell University)|2023. 06. 04.

Artificial Intelligence in HealthcareHealth Professions인용 수 3

한 줄 요약

이 연구는 UCI 유방암 웨일스 데이터셋을 사용한 유방암 진단에서 단순 선형 모델, 특히 로지스틱 회귀(LR)가 의사결정나무(DT) 및 서포트 벡터 머신(SVM)과 같은 복잡한 기계학습 기법보다 뛰어난 성능을 보임을 입증한다. LR는 해석 가능성과 계산 효율성(35.56ms)이 뛰어나 테스트 정확도 97.28%를 달성했으며, DT(93.73%)와 SVM(96.44%)를 모두 능가했다. 이는 의료 분야의 인공지능 응용에서 단순성의 이점을 강조한다.

ABSTRACT

This research paper investigates the effectiveness of simple linear models versus complex machine learning techniques in breast cancer diagnosis, emphasizing the importance of interpretability and computational efficiency in the medical domain. We focus on Logistic Regression (LR), Decision Trees (DT), and Support Vector Machines (SVM) and optimize their performance using the UCI Machine Learning Repository dataset. Our findings demonstrate that the simpler linear model, LR, outperforms the more complex DT and SVM techniques, with a test score mean of 97.28%, a standard deviation of 1.62%, and a computation time of 35.56 ms. In comparison, DT achieved a test score mean of 93.73%, and SVM had a test score mean of 96.44%. The superior performance of LR can be attributed to its simplicity and interpretability, which provide a clear understanding of the relationship between input features and the outcome. This is particularly valuable in the medical domain, where interpretability is crucial for decision-making. Moreover, the computational efficiency of LR offers advantages in terms of scalability and real-world applicability. The results of this study highlight the power of simplicity in the context of breast cancer diagnosis and suggest that simpler linear models like LR can be more effective, interpretable, and computationally efficient than their complex counterparts, making them a more suitable choice for medical applications.

연구 동기 및 목표

• 단순 선형 모델와 복잡한 기계학습 기법 간의 성능을 평가하기 위해.
• 의료 AI 응용 분야에서 모델 정확도, 해석 가능성, 계산 효율성 간의 상호 상충 관계를 평가하기 위해.
• 의사결정나무와 SVM과 같은 더 복잡한 모델보다 단순한 모델인 로지스틱 회귀가 임상 진단 과제에서 더 뛰어난 성능을 낼 수 있는지 확인하기 위해.
• 실제 의료 의사결정 시스템에서 모델 신뢰성과 확장성의 중요성을 강조하기 위해.
• 모델 신뢰성과 확장성이 핵심인 의료 환경에서 단순하고 투명한 모델의 사용을 권장하기 위해.

제안 방법

• 미세침원자흡취 영상에서 유도된 9개의 실수치 특성과 악성/양성 진단을 포함한 총 32개의 특성을 가진 UCI 유방암 웨일스(진단) 데이터셋을 사용하였다.
• 표준 기계학습 파이프라인을 사용하여 로지스틱 회귀(LR), 의사결정나무(DT), 서포트 벡터 머신(SVM)의 세 모델을 훈련하고 평가하였다.
• 모델 성능을 최적화하기 위해 초모수 튜닝을 수행하였으며, 견고한 평가 지표를 확보하기 위해 5겹 교차검증을 사용하였다.
• 테스트 정확도(평균 및 표준편차), 계산 시간, 일반화 능력(학습-테스트 점수 갭)을 측정하여 성능을 평가하였다.
• LR의 특성 계수 분석과 DT의 결정 규칙 분석을 통해 해석 가능성을 평가하였으며, 비선형 경계를 위해 커널 함수를 사용한 SVM의 성능을 평가하였다.
• LR의 추론 시간(35.56ms)을 기준으로 모델 효율성을 비교하였으며, 학습 점수와 테스트 점수의 차이를 통해 과적합 위험을 평가하였다.

Figure 1: Parallel coordinate plot of the Breast Cancer Wisconsin (Diagnostic) Data Set.

실험 결과

연구 질문

• RQ1 로지스틱 회귀와 같은 단순 선형 모델이 유방암 진단에서 의사결정나무와 SVM과 같은 더 복잡한 모델보다 뛰어난가?
• RQ2 의료 응용 분야에서 단순 선형 모델과 복잡한 기계학습 기법 간의 해석 가능성과 계산 효율성은 어떻게 비교되는가?
• RQ3 SVM과 의사결정나무와 같은 복잡한 모델은 단순한 모델에 비해 과적합이나 더 긴 추론 시간 문제를 얼마나 겪는가?
• RQ4 더 단순한 모델은 높은 정확도를 유지하면서도 더 높은 투명성과 임상 워크플로우에의 용이한 통합을 제공할 수 있는가?
• RQ5 실제 의료 진단 시스템에서 모델 복잡도, 성능, 실용성 간의 상호 상충 관계는 어떠한가?

주요 결과

• 로지스틱 회귀(LR)는 표준편차 1.62%를 동반한 최고의 테스트 정확도 97.28%를 기록하여 의사결정나무(93.73%)와 SVM(96.44%)를 모두 능가했다.
• LR는 높은 계산 효율성을 보이며 뿐만 아니라 빠른 추론 시간(35.56ms)을 기록하여 SVM보다 뚜렷하게 빠르고, DT와도 경쟁 가능한 성능을 보였다.
• 의사결정나무는 LR보다 빠른 계산 속도를 보였지만, 학습 점수와 테스트 점수 간의 큰 격차로 과적합의 징후를 보였다.
• SVM는 높은 정확도(96.44%)를 달성했지만, 상당히 긴 계산 시간을 요구하여 시간 민감한 임상 응용 분야에서의 확장성에 제약을 받았다.
• LR의 명확한 특성 계수 덕분에 투명한 의사결정 과정을 제공하였으며, 이는 의료 진단에서 매우 중요한 요소였다.
• 복잡한 모델임에도 불구하고 의사결정나무와 SVM는 LR만큼의 성능을 달성하지 못했으며, 의사결정나무의 과적합 문제와 SVM의 속도 저하로 인해 실제 적용에서의 유용성이 떨어졌다.

Figure 2: Distribution of each feature for both benign and malignant instances.