[논문 리뷰] Biomedical image analysis competitions: The state of current participation practice

Matthias Eisenmann, Annika Reinke외 354명|arXiv (Cornell University)|2022. 12. 16.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 17

한 줄 요약

이 연구는 IEEE ISBI 및 MICCAI 2021 챌린지 참가자 80명을 대상으로 한 설문 조사로, 생물의학 영상 분석 경연 대회에서의 현재 관행을 조사한다. 연구 결과, 지식 공유가 參참여의 주요 동력(70%)이며, 딥 러닝이 지배적(해결책의 94%)임을 확인했고, 주요 과제로는 시간 부족(32%가 개발에 충분한 시간이 없다고 보고)과 데이터 크기 문제(43%가 처리 제한을 경험)가 있으며, 패치 기반 훈련과 다운샘플링이 일반적인 해결 방법임을 밝혀냈다.

ABSTRACT

The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

연구 동기 및 목표

• 생물의학 영상 분석 경연 대회의 현재 참가 관행 상태를 이해하기 위해.
• 벤치마크 챌린지에 참가하는 주요 동기를 특정하기 위해.
• 챌린지 개발에서의 방법론적 선택, 알고리즘 전략, 기술적 제약을 분석하기 위해.
• 평가 관행, 데이터 처리, 인프라가 경연 성과에 미치는 영향을 평가하기 위해.
• 제출된 해결책에서 딥 러닝, 모델 앙상블, 후처리의 보편성을 평가하기 위해.

제안 방법

• IEEE ISBI 2021 및 MICCAI 2021 기간 동안 개최된 80개 경연 대회에 참가한 전원을 대상으로 국제적 설문 조사를 실시하였다.
• 설문은 다섯 부분으로 구성되었으며, 팀 및 과제 정보, 전문성 및 근무 환경, 경연 전략, 알고리즘 특성, 기타 세부 정보를 포함한다.
• 참가자의 동기, 시간 투자, 인프라 접근성, 모델 아키텍처, 데이터 처리, 평가 기법에 대한 데이터를 수집하였다.
• 80개의 독립된 경연 대회에서 각각의 랭킹 보드를 운영하며, 참가자의 중앙값 72%에 해당하는 응답을 분석하였다.
• 기본 통계와 횡단면 분석을 활용하여 모델 개발, 데이터 처리, 평가 관행의 추세를 요약하였다.
• 생물의학 영상 챌린지의 방법론적 엄밀함을 확보하기 위해 BIAS 지침을 적용하였다.

실험 결과

연구 질문

• RQ1 생물의학 영상 분석 경연 대회에 참가하는 주요 동기는 무엇인가요?
• RQ2 참가자들은 일반적으로 메서드 개발에 얼마나 많은 시간을 투자하며, 그 중 얼마나 많은 비율이 개발에 충분한 시간이 없다고 보고합니까?
• RQ3 경연 제출물에서 가장 흔한 딥 러닝 아키텍처와 데이터 처리 전략는 무엇입니까?
• RQ4 k-폴드 교차검증 및 모델 앙상블과 같은 표준 평가 관행는 어느 정도 활용되고 있습니까?
• RQ5 참가자들이 보고하는 주요 기술적 제약은 무엇이며, 특히 데이터 크기와 인프라 측면에서 어떤 문제가 있습니까?

주요 결과

• 지식 공유는 참가자의 70%가 가장 주요한 동기였으며, 상금은 보조적 인centive로 16%에 그쳤다.
• 메서드 개발에 평균 80시간이 투자되었지만, 32%의 참가자가 개발에 충분한 시간이 없다고 보고하였다.
• 모든 제출 해결책의 94%가 딥 러닝 기반이며, 그 중 84%는 표준 아키텍처를 사용하였다.
• 응답자 43%가 전체 이미지 데이터를 처리하기에 너무 크다고 보고하였고, 패치 기반 훈련(69%)과 다운샘플링(37%)이 가장 일반적인 해결 방법이었다.
• 참가자의 37%만이 훈련 세트에서 k-폴드 교차검증을 사용하였고, 50%는 모델 앙상블을 수행하였으며, 그 중 61%는 동일한 모델을, 39%는 이질적인 모델을 사용하였다.
• 참가자의 48%는 추론 후 결과를 정제하기 위해 후처리 단계를 적용하였으며, 이는 일반적인 실천 방식임을 시사한다.