[논문 리뷰] Machine Learning: A Dark Side of Cancer Computing

Ripon Patgiri, Sabuzima Nayak외 2명|arXiv (Cornell University)|2019. 03. 17.

Artificial Intelligence in Healthcare참고 문헌 10인용 수 5

한 줄 요약

이 논문은 암 예측을 위한 기계학습에서 심각한 윤리적 결함을 드러낸다: 연구자들은 랜덤 포레스트를 사용할 때 웨이스턴 버지니아 유방암 데이터셋에서 데이터를 복제함으로써 인위적으로 100% 정확도를 달 đạt할 수 있다. 이 연구는 그러한 높은 정확도가 모델 성능이 아니라 데이터 복제에서 기인하므로 오해의 소지가 있으며, 암과 같은 생명을 위협하는 질환에서는 최대 정확도보다 최소 정확도가 더 의미가 있다고 주장한다.

ABSTRACT

Cancer analysis and prediction is the utmost important research field for well-being of humankind. The Cancer data are analyzed and predicted using machine learning algorithms. Most of the researcher claims the accuracy of the predicted results within 99%. However, we show that machine learning algorithms can easily predict with an accuracy of 100% on Wisconsin Diagnostic Breast Cancer dataset. We show that the method of gaining accuracy is an unethical approach that we can easily mislead the algorithms. In this paper, we exploit the weakness of Machine Learning algorithms. We perform extensive experiments for the correctness of our results to exploit the weakness of machine learning algorithms. The methods are rigorously evaluated to validate our claim. In addition, this paper focuses on correctness of accuracy. This paper report three key outcomes of the experiments, namely, correctness of accuracies, significance of minimum accuracy, and correctness of machine learning algorithms.

연구 동기 및 목표

• 데이터 복제를 통한 인위적 기계학습 정확도 향상이라는 비윤리적 관행을 폭 드러내는 것.
• 특히 암과 같은 생명을 위협하는 질환에서 최대 정확도를 극대화하는 것에 대한 연구계의 과도한 중시를 도전하는 것.
• 높은 최대 정확도가 실제 세계의 신뢰성이나 임상적 유용성을 반영하지 못함을 입증하는 것.
• 오류 분류의 고비용이 요구되는 상황에서 최소 정확도가 더 의미 있는 기준이 되어야 한다고 주장하는 것.
• 특히 랜덤 포레스트를 비롯한 기계학습 모델이 데이터 복제를 통한 조작에 얼마나 취약한지 부각하는 것.

제안 방법

• 실험의 주요 데이터셋으로 UCI 웨이스턴 버지니아 유방암 데이터셋(WDBC)을 사용하였다.
• 모든 샘플을 복제하여 데이터셋 크기를 두 배로 늘려 인위적인 데이터 크기 증가를 시뮬레이션하였다.
• SVM, 랜덤 포레스트, 신경망, 결정 트리, K-최근접 이웃, 로지스틱 회귀, 나이브 베이즈 등의 다양한 기계학습 알고리즘을 적용하였다.
• 50-50, 60-40, 70-30, 80-20 등의 다양한 훈련-테스트 분할 조건에서 각 알고리즘에 대해 100회의 독립적인 실행을 수행하여 일관성을 평가하였다.
• 모든 실행 및 분할 조건에서 최대, 평균, 최소 정확도를 측정하고 비교하였다.
• 오분류율 분석을 통해 데이터 복제가 정확도에 미치는 영향과 전체 성능 지표에 대한 영향을 평가하였다.

실험 결과

연구 질문

• RQ1 기계학습 알고리즘이 어떻게 암 예측에서 100% 정확도를 달 đạt할 수 있으며, 이러한 접근은 윤리적인가?
• RQ2 데이터 복제 또는 인위적 데이터 확장을 통해 기계학습 알고리즘이 오도될 수 있는가?
• RQ3 왜 연구자들은 정확도 극대화를 우선시하는가? 이는 암 예측에서 필수적이거나 의미 있는가?
• RQ4 기계학습 모델이 보고한 정확도에 기반해 어떤 조건에서 신뢰하거나 배포되어야 하는가?
• RQ5 암과 같은 생명을 위협하는 질환에서 최대 정확도와 최소 정확도의 진정한 의미는 무엇인가?

주요 결과

• 랜덤 포레스트는 데이터셋을 두 배로 늘린 경우 100회의 실행 중 21회에서 100% 정확도를 기록하여, 그러한 높은 정확도가 모델의 우수성 때문이 아니라 데이터 복제에서 비롯됨을 입증하였다.
• 신경망은 모든 분할 조건에서 최소 정확도가 가장 낮아, 최대 정확도 성능에 비해 뚜렷이 열악한 강건성을 보였다.
• 데이터셋을 두 배로 늘린 후 모든 알고리즘의 평균 정확도가 크게 증가하여, 모델 성능 지표가 데이터 크기와 복제 여부에 매우 민감하게 반응함을 보였다.
• 100개의 샘플이 있는 데이터셋에서 한 개의 샘플만 잘못 분류되면 정확도가 99%가 되므로, 의미 있는 모델 향상 없이도 정확도가 쉽게 과대평가될 수 있음을 보여준다.
• 이 연구는 생명을 위협하는 의료 응용 분야에서 최대 정확도가 모델 성능의 신뢰할 만한 지표가 아니며, 다양한 조건 하에서의 최소 정확도가 더 중요하다는 점을 드러냈다.
• 데이터 복제로 인해 동일한 샘플 간 가짜 매칭이 발생하여 정확도가 인위적으로 상승하고, 결과 보고의 타당성이 훼손됨을 밝혔다.