[논문 리뷰] Reproducibility of the Methods in Medical Imaging with Deep Learning

Attila Simko, Anders Garpebring외 3명|arXiv (Cornell University)|2022. 10. 20.

Radiomics and Machine Learning in Medical Imaging인용 수 5

한 줄 요약

이 논문은 2018–2022년 동안 MIDL 회의에 제출된 모든 논문을 분석하여 의료 영상 분야의 딥러닝 방법의 재현 가능성(reproducibility)을 평가한다. 그 결과, 코드 리포지터리 중 단 22%만 재현 가능하다고 평가되었다. 연구는 재현 가능성 체크리스트를 제안하고, 회의 수준의 지침을 통해 리포지터리 품질, 코드 투명성, 데이터 인용을 향상시켜 의료 AI 연구의 방법론적 엄밀성과 영향력을 높이기 위한 방안을 제시한다.

ABSTRACT

Concerns about the reproducibility of deep learning research are more prominent than ever, with no clear solution in sight. The relevance of machine learning research can only be improved if we also employ empirical rigor that incorporates reproducibility guidelines, especially so in the medical imaging field. The Medical Imaging with Deep Learning (MIDL) conference has made advancements in this direction by advocating open access, and recently also recommending authors to make their code public - both aspects being adopted by the majority of the conference submissions. This helps the reproducibility of the methods, however, there is currently little or no support for further evaluation of these supplementary material, making them vulnerable to poor quality, which affects the impact of the entire submission. We have evaluated all accepted full paper submissions to MIDL between 2018 and 2022 using established, but slightly adjusted guidelines on reproducibility and the quality of the public repositories. The evaluations show that publishing repositories and using public datasets are becoming more popular, which helps traceability, but the quality of the repositories has not improved over the years, leaving room for improvement in every aspect of designing repositories. Merely 22% of all submissions contain a repository that were deemed repeatable using our evaluations. From the commonly encountered issues during the evaluations, we propose a set of guidelines for machine learning-related research for medical imaging applications, adjusted specifically for future submissions to MIDL.

연구 동기 및 목표

• 딥러닝 연구의 재현 가능성에 대한 우려가 증가하는 데 대응하며, 특히 방법론적 엄밀성이 중요한 의료 영상 분야에서의 중요성을 고려한다.
• 2018년부터 2022년까지 MIDL 회의에 제출된 논문에 동반된 공개된 코드 리포지터리의 품질과 재현 가능성 수준을 조사한다.
• 오픈 사이언스 정책에도 불구하고 재현 가능성을 저해하는 리포지터리 설계, 데이터 인용, 코드 가용성 문제를 특정한다.
• 저자와 회의 조직자들이 보조 연구 자료의 투명성, 품질, 장기적 사용 가능성을 향상시키기 위한 실천 가능한 지침을 제안한다.
• 재현 가능성 평가를 피어 리뷰 과정에 통합하여, 출판 이전에 방법론적 탄탄함을 확보할 수 있도록 한다.

제안 방법

• 2018년부터 2022년까지 MIDL에 수락된 전면 논문 제출물을 의료 영상 및 딥러닝에 특화된 수정된 재현 가능성 체크리스트를 사용해 평가하였다.
• 코드 완전성, 문서화, 환경 설정, 결과 재현 가능성, 공개 데이터셋 사용 여부를 기준으로 리포지터리를 평가하였다.
• 공개 데이터셋이 연구의 주장과 일치하는지, 적절한 인용, 접근 가능 링크가 있는지 점검하였다.
• 파손된 링크, 누락된 종속성, 훈련/추론 스크립트 부재, 버전 관리 미비 등의 공통 문제를 식별하였다.
• 보조 자료 품질 표준화를 위해 보조 자료 양식에 포함 가능한 선택 사항을 포함한 구조화된 재현 가능성 체크리스트(부록 A)를 제안하였다.
• ECML-PKDD의 '재현 가능(reproducible)' 플래그와 유사한 공식 인증 제도를 MIDL가 도입할 것을 제안하였다.

실험 결과

연구 질문

• RQ1 MIDL 제출 논문에 동반된 코드 리포지터리가 실제로 얼마나 재현 가능하고 재현 가능한가?
• RQ2 의료 영상 딥러닝 연구에서 공개된 코드 리포지터리의 설계 및 유지보수에서 가장 흔한 결함은 무엇인가?
• RQ3 공개 데이터셋의 사용이 재현 가능성에 어떤 영향을 미치며, 제출물에서 일관되게 인용되고 연결되어 있는가?
• RQ4 구조화된 지침과 회의 수준의 정책이 보조 자료의 품질과 투명성을 상당히 향상시킬 수 있는가?
• RQ5 피어 리뷰는 주 논문 내용을 넘어서 재현 가능성 기준을 이행하는 데 어떤 역할을 할 수 있는가?

주요 결과

• 제출된 리포지터리 중 재현 가능하다고 평가된 비율은 단 22%에 불과하여, 코드 공유가 확산되고 있음에도 불구하고 재현 가능성 격차가 뚜렷하게 존재함을 시사한다.
• 공개 데이터셋 사용 증가에도 불구하고 많은 제출물이 데이터셋을 적절히 인용하거나 연결하지 못해 추적 가능성과 투명성이 저하되었다.
• 많은 리포지터리가 비어 있거나 링크가 손상되어 있었으며, 9개의 비어 있는 리포지터리 중 4개는 회의 개최 후 1개월 이내에 수정된 바가 있었다.
• 훈련 스크립트, 추론 코드, 환경 설정, 명확한 문서화 등 필수 구성 요소가 부재한 리포지터리가 다수 존재했다.
• 이 연구는 코드 공유 자체만으로는 재현 가능성을 보장하지 못하며, 리포지터리의 품질과 유지보수 가능성 등이 핵심 요소임을 발견했다.
• 저자들은 재현 가능성 평가를 피어 리뷰 과정에 통합하고, 높은 품질의 제출물에 대해 공식 인증 체계를 도입할 것을 권고한다.