[논문 리뷰] How I failed machine learning in medical imaging -- shortcomings and recommendations

Gaël Varoquaux, Veronika Cheplygina|arXiv (Cornell University)|2021. 03. 18.

Radiomics and Machine Learning in Medical Imaging참고 문헌 90인용 수 4

한 줄 요약

이 논문은 의료 영상 분야의 기계학습에서의 한계를 철저히 분석하며, 데이터셋 편향, 잘못된 평가 방식, 부적절한 출판 유인 등이 임상적 영향력을 저해하는 주요 장애물임을 밝힌다. 연구는 데이터 다양성 향상, 평가 지표의 다각화, 사전 등록된 연구와 같은 실천 가능한 권고안을 제시하여 연구를 실제 임상적 필요와 맞추고 재현성 및 신뢰성을 향상시키고자 한다.

ABSTRACT

Medical imaging is an important research field with many opportunities for improving patients' health. However, there are a number of challenges that are slowing down the progress of the field as a whole, such optimizing for publication. In this paper we reviewed several problems related to choosing datasets, methods, evaluation metrics, and publication strategies. With a review of literature and our own analysis, we show that at every step, potential biases can creep in. On a positive note, we also see that initiatives to counteract these problems are already being started. Finally we provide a broad range of recommendations on how to further these address problems in the future. For reproducibility, data and code for our analyses are available on \url{https://github.com/GaelVaroquaux/ml_med_imaging_failures}

연구 동기 및 목표

• growing research output에도 불구하고 임상적 번역을 저해하는 의료 영상 분야 기계학습 연구의 체계적 결함을 규명하는 것.
• 데이터셋 편향, 방법론적 결함, 출판 유인이 함께 작용하여 기계학습 모델의 신뢰성과 실제 적용 가능성에 악영향을 미치는 방식을 분석하는 것.
• 데이터 선택, 평가 관행, 출판 규범 향상을 위한 구체적이고 근거 기반의 권고안을 제시하여 임상적 관련성과 재현성을 높이는 것.
• '최첨단' 성능을 내는 데에 치중하는 연구 중심에서, 강건하고 투명하며 일반화 가능한 방법으로 임상적으로 의미 있는 문제를 해결하는 데로 연구 초점을 전환하는 것.

제안 방법

• 알츠하이머병 분류에 대한 6개의 시스템적 리뷰에서 유래한 478篇의 연구를 메타분석하여 알츠하이머병 연구에서 표본 크기와 진단 정확도의 추세를 평가하였다.
• 이전 연구 및 사례 연구의 증거를 바탕으로 여러 의료 영상 분야(예: 체스트 X-ray, 뇌 MRI, 망막 영상)에서의 데이터셋 편향을 분석하였다.
• 정확도에 대한 과도한 의존, 校정 지표 부족, 불확실성 및 오차 범위 보고 부족 등 모델 평가의 방법론적 결함을 평가하였다.
• 상위 수준의 컴퓨터 과학 논문에서의 인용 패턴, p-값 분포, '파일 서랍 효과'의 빈도를 분석하여 출판 규범을 탐색하였다.
• 사전 등록된 보고서, 보다 넓은 평가 지표(예: 校정, 학습 곡선), 부정적 결과나 복제 연구의 출판을 장려하는 솔루션을 제안하였다.
• 재현성과 투명성을 확보하기 위해 GitHub에 공개된 오픈소스 코드와 데이터를 활용하였다.

실험 결과

연구 질문

• RQ1 왜 알츠하이머병 연구에서 데이터셋 크기가 증가했음에도 불구하고, 진행성과 안정성 경도 인지장애를 구분하는 데 있어 진단 정확도가 향상되지 않았는가? 특히 임상적으로 중요한 하위 과제인 진행성과 안정성 경도 인지장애의 구분에 있어서 그렇다.
• RQ2 스캐너 차이 또는 인구 통계적 불균형 등의 데이터셋 편향이 의료 영상 분야의 기계학습 모델의 일반화 능력에 얼마나 심각하게 악영향을 미치는가?
• RQ3 '최첨단 성능'을 보고하거나 긍정적 결과만 출판하는 데에 대한 압박 등 출판 유인이 방법론적 엄밀함과 임상적 관련성에 어떻게 왜곡을 초래하는가?
• RQ4 정확도 이외의 평가 지표 중 어떤 것이 의료 영상 기계학습 모델의 신뢰성과 해석 가능성 향상에 기여하는가?
• RQ5 사전 등록, 개방형 보고, 부정적 결과 수용 등의 연구 규범 변화가 의료 영상 기계학습 연구의 임상적 영향력을 어떻게 향상시킬 수 있는가?

주요 결과

• 알츠하이머병 연구에서 표본 크기가 지속적으로 증가했음에도 불구하고, 진행성과 안정성 경도 인지장애를 구분하는 예측 정확도는 향상되지 않았고, 오히려 더 큰 연구에서 더 나쁜 성능을 보이는 경향이 있다.
• 스캐너 프로토콜의 차이나 환자 인구 통계적 불균형 등의 데이터셋 편향은 모델의 일반화 능력을 심각하게 저하시키며, 한 스캐너나 코hort에서 학습된 모델이 다른 곳에선 떨어지는 성능을 보인다.
• 410편의 상위 ACM 논문을 대상으로 한 메타분석 결과, 97%가 p-값을 0.05 이하로 보고하여 긍정적 결과를 선호하는 강한 출판 편향이 있음을 시사하며, 보고된 결과의 신뢰성에 대한 우려를 제기한다.
• 많은 의료 영상 기계학습 모델들이 내재된 평가 오차 이내의 개선만을 보이며, 이는 보고된 성과가 통계적으로 의미가 없거나 임상적으로 관련성이 없을 수 있음을 시사한다.
• 정확도를 유일한 주요 지표로 삼고, 校정 또는 불확실성 보고가 부족한 것은 모델 성능에 대한 과도한 자신감을 유도하고 임상 현장 적용을 저해한다.
• 사전 등록, 보다 넓은 평가 지표, 부정적 또는 복제 연구의 수용은 연구의 투명성을 크게 향상시키고 의료 AI 분야의 기술 부채를 줄일 수 있다.