[논문 리뷰] Reproducibility in Machine Learning for Health

Matthew B. A. McDermott, Shirly Wang외 4명|arXiv (Cornell University)|2019. 07. 02.

Machine Learning in Healthcare참고 문헌 39인용 수 29

한 줄 요약

이 논문은 기술적, 통계적, 개념적 복제 가능성으로 구성된 삼단계 분류 체계를 도입하여 의료 분야 기계학습(Machine Learning for Health, ML4H)의 재현 가능성(reproducibility)을 평가한다. 100편 이상의 ML4H 논문을 분석한 결과, 다른 기계학습 분야와 비교해 데이터 및 코드 접근성 측면에서 심각한 격차가 드러났다. 연구자, 출판사, 데이터 제공자들이 코드/데이터 공유, 사전 등록 대체 방안, 합성 데이터, 표준화된 보고서 작성 방식을 통해 재현 가능성을 향상시키기 위한 실천 가능한 권고안을 제시한다.

ABSTRACT

Machine learning algorithms designed to characterize, monitor, and intervene on human health (ML4H) are expected to perform safely and reliably when operating at scale, potentially outside strict human supervision. This requirement warrants a stricter attention to issues of reproducibility than other fields of machine learning. In this work, we conduct a systematic evaluation of over 100 recently published ML4H research papers along several dimensions related to reproducibility. We find that the field of ML4H compares poorly to more established machine learning fields, particularly concerning data and code accessibility. Finally, drawing from success in other fields of science, we propose recommendations to data providers, academic publishers, and the ML4H research community in order to promote reproducible research moving forward.

연구 동기 및 목표

• 실험 결과가 잘못되거나 재현되지 않을 경우 환자 안전과 규제 결정에 영향을 줄 수 있는 ML4H 분야의 점점 악화되는 재현 가능성 위기를 해결하기 위해.
• 특히 데이터 및 코드 접근성 측면에서 더 발전된 기계학습 하위 분야와 비교했을 때 ML4H 분야의 주요 재현 가능성 과제를 특정하기 위해.
• ML4H 응용 분야에 특화된 기술적, 통계적, 개념적 복제 가능성의 체계적 분류 체계를 제안하기 위해.
• ML, NLP, CV, ML4H 분야의 학술 회의에서 최근 발표된 100편 이상의 연구 논문을 수작업으로 검토하여 ML4H의 현재 재현 가능성 수준을 평가하기 위해.
• 데이터 표준, 사전 등록 대체 방안, 합성 데이터 사용 등을 포함해 ML4H 공동체가 실천할 수 있는 구체적이고 확장 가능한 개선 조치를 제안하기 위해.

제안 방법

• 기술적(동일한 조건), 통계적(재표본 조건), 개념적(동일한 개념이지만 다른 맥락) 복제 가능성으로 구성된 삼단계 재현 가능성 분류 체계를 개발하였다.
• 재현 가능성의 다양한 차원(예: 데이터 및 코드 가용성)을 평가하기 위해 300편 이상의 ML4H, NLP, CV 및 일반 기계학습 논문을 수작업으로 체계적으로 문헌 검토하였다.
• 데이터셋 및 코드 배포 비율, 고정된 훈련/테스트 분할 사용 여부, 초파rameter 및 평가 절차 기술 여부 등 재현 가능성 지표를 평가하였다.
• 개인정보 보호 및 접근 장벽을 해결하기 위해 사전 등록 대체 방안, 합성 데이터 생성, 암호화 또는 피어드 학습 기법을 제안하였다.
• 의무적인 데이터/코드 가용성 진술 및 향상된 보고서 기준(예: 데이터 시트 및 사양 문서)을 권고하였다.
• 인터페이스 호환성과 개념적 복제 가능성을 향상시키기 위해 기존 임상 데이터 표준(예: OMOP, FHIR)의 도입을 권장하였다.

실험 결과

연구 질문

• RQ1 ML4H 연구의 재현 가능성은 데이터 및 코드 접근성 측면에서 다른 기계학습 하위 분야와 비교해 어떻게 다를까?
• RQ2 제안된 분류 체계에 따라 정의된 기술적, 통계적, 개념적 복제 가능성 기준을 ML4H 연구가 어느 정도 충족하고 있는가?
• RQ3 특히 데이터 기밀성과 민감성 때문에 ML4H의 재현 가능성에 가장 큰 장애물은 무엇인가?
• RQ4 생물의학 분야의 사전 등록 관행은 ML4H 모델 개발의 탐색적 성격에 어떻게 적응시킬 수 있는가?
• RQ5 장기적인 재현 가능성을 향상시키기 위해 기관적 및 기술적 조치는 무엇이 가능한가?

주요 결과

• 최근 발표된 100편 이상의 ML4H 논문은 NLP 및 CV 논문과 비교해 데이터 및 코드 가용성 비율이 뚜렷이 낮았다.
• ML4H 논문 중 28%만 코드를 배포했고, 단지 15%만 데이터셋을 공개했으며, 다른 기계학습 하위 분야의 비율보다 낮았다.
• ML4H 논문 중 10% 미만이 초파rameter 탐색 절차를 기재하거나 고정된 훈련/테스트 분할을 사용하여 통계적 재현 가능성이 떨어졌다.
• 대부분의 ML4H 연구는 편향, 누락 데이터, 데이터 기원에 대한 정보를 포함한 상세한 데이터 기술이 부족했다.
• OMOP, FHIR 등의 데이터 표준 및 데이터 시트와 같은 보고서 관행을 도입하는 데서 분야가 뒤처져 있었으며, 이는 개념적 재현 가능성을 확보하는 데 필수적이다.
• FDA 승인 도구를 포함해 ML4H 응용의 중요성이 높음에도 불구하고, 재현 가능성 관행은 여전히 미비하고 일관성 없이 적용되고 있다.