[논문 리뷰] Dataset Growth in Medical Image Analysis Research

Yuval E. Landau, Nahum Kiryati|arXiv (Cornell University)|2019. 08. 21.

Radiomics and Machine Learning in Medical Imaging참고 문헌 14인용 수 4

한 줄 요약

이 연구는 2011–2018년도 MICCAI 회의 논문을 분석하여 의료 영상 분석 분야에서 데이터셋 크기의 추세를 분석하며, MRI, CT, fMRI 모odal리티 전반에 걸쳐 인간 피험자 수가 일관되게 기하급수적으로 증가하고 있음을 밝혀냈다. 저자들은 7년 간 중앙값 데이터셋 크기가 3–10배 증가했으며, 연간 성장률이 21–31%였음을 발견하여, 동료 검토 과정이 사실상 표준으로서 점점 더 큰 데이터셋을 요구하고 있음을 시사한다.

ABSTRACT

Medical image analysis studies usually require medical image datasets for training, testing and validation of algorithms. The need is underscored by the deep learning revolution and the dominance of machine learning in recent medical image analysis research. Nevertheless, due to ethical and legal constraints, commercial conflicts and the dependence on busy medical professionals, medical image analysis researchers have been described as "data starved". Due to the lack of objective criteria for sufficiency of dataset size, the research community implicitly sets ad-hoc standards by means of the peer review process. We hypothesize that peer review requires researchers to report the use of ever-increasing datasets as one condition for acceptance of their work to reputable publication venues. To test this hypothesis, we scanned the proceedings of the eminent MICCAI (Medical Image Computing and Computer-Assisted Intervention) conferences from 2011 to 2018. From a total of 2136 articles, we focused on 907 papers involving human datasets of MRI (Magnetic Resonance Imaging), CT (Computed Tomography) and fMRI (functional MRI) images. For each modality, for each of the years 2011-2018 we calculated the average, geometric mean and median number of human subjects used in that year's MICCAI articles. The results corroborate the dataset growth hypothesis. Specifically, the annual median dataset size in MICCAI articles has grown roughly 3-10 times from 2011 to 2018, depending on the imaging modality. Statistical analysis further supports the dataset growth hypothesis and reveals exponential growth of the geometric mean dataset size, with annual growth of about 21% for MRI, 24% for CT and 31% for fMRI. In slight analogy to Moore's law, the results can provide guidance about trends in the expectations of the medical image analysis community regarding dataset size.

연구 동기 및 목표

• 의료 영상 분석에서 데이터셋 크기 요구사항이 동료 검토 기준에 의해 암묵적으로 증가했는지 여부를 조사하는 것.
• 특히 고영향력 회의에서 사용된 데이터셋 크기의 성장 추세를 정량화하는 것.
• 의료 영상 분석 분야에서 모어의 법칙과 유사하게 더 큰 데이터셋에 대한 암묵적 기대가 형성되었는지 평가하는 것.
• 시간에 따라 MRI, CT, fMRI 등 다양한 영상 모달리티 간 데이터셋 크기 성장 패턴을 분석하는 것.
• 윤리적 및 물리적 제약에도 불구하고 의료 영상 분석 연구에서 데이터셋 크기 요구사항이 증가하고 있는지를 실증적으로 제시하는 것.

제안 방법

• 저자들은 MRI, CT, fMRI 모달리티에서 인간의 의료 영상 데이터셋을 사용한 907편의 MICCAI 회의 논문을 수집하고 분석하였다.
• 각 모달리티와 연도별로 관련된 논문들에서 인간 피험자 수의 평균, 기하평균, 중앙값을 계산하였다.
• 기하평균 값에 기하급수적 성장 모델을 적합하여 데이터셋 크기 성장 추세를 분석하기 위해 통계적 분석을 적용하였다.
• 본 연구는 고영향력 의료 영상 분석 연구 발표 장소를 대표하는 MICCAI 프로ceedings를 사용하였다.
• 윤리적 및 임상적 제약에 관련된 관련성을 확보하기 위해 인간 피험자를 사용한 연구에만 집중하였다.
• 다른 모달리티 간 성장률을 비교하여 데이터셋 크기 변화 양상의 차이를 평가하였다.

실험 결과

연구 질문

• RQ1 2011년에서 2018년 사이에 동료 검토된 연구에서 사용된 의료 영상 데이터셋 크기가 유의미하게 증가했는가?
• RQ2 다른 영상 모달리티(MRI, CT, fMRI)는 데이터셋 크기 성장 추세에서 다름이 있는가?
• RQ3 의료 영상 분석 연구에서 시간이 지남에 따라 데이터셋 크기의 기하급수적 성장이 관찰되는가?
• RQ4 동료 검토 과정이 더 큰 데이터셋 요구사항을 암묵적으로 강요하는 정도는 어느 정도인가?
• RQ5 연도와 모달리티 간 중앙값, 평균, 기하평균 데이터셋 크기는 어떻게 비교되는가?

주요 결과

• 2011년에서 2018년 사이에 MICCAI 논문의 중앙값 데이터셋 크기는 모달리티에 따라 3배에서 10배로 증가하였다.
• 기하평균 데이터셋 크기는 MRI의 경우 연간 21%, CT의 경우 24%, fMRI의 경우 31%의 비율로 기하급수적으로 증가하였다.
• 통계적 분석을 통해 모든 세 모달리티에서 데이터셋 크기의 유의미하고 일관된 상승 추세가 확인되었다.
• 데이터 수집에 대한 윤리적, 법적, 물리적 제약에도 불구하고 데이터셋 크기 증가가 관찰되었다.
• 결과적으로 동료 검토 과정이 공식적인 기준 없이도 사실상 더 큰 데이터셋을 요구하는 기준을 암묵적으로 수립한 것으로 나타났다.
• 관찰된 성장 패턴은 기하급수적 성격을 띠며, 모어의 법칙과 유사하게 데이터 요구사항에 대한 자율적 강화 추세를 보였다.