[논문 리뷰] The Medical Segmentation Decathlon

Michela Antonelli, Annika Reinke외 57명|arXiv (Cornell University)|2021. 06. 10.

Advanced Neural Network Applications인용 수 10

한 줄 요약

의료 영상 분할을 위한 의료 세그멘테이션 디카챌린지(Medical Segmentation Decathlon, MSD)는 다양한 해부학적 구조와 영상 모odalities를 통해 일반화 가능한 딥 러닝 알고리즘을 평가하고 촉진하기 위해 설계된 대규모 다중 작업 의료 영상 분할 도전 대회이다. 본 연구는 여러 작업에서 일관된 성능을 보이는 모델이 새로운 작업으로도 효과적으로 일반화됨을 입증하였으며, 우승한 nnU-Net 방법론이 두 해가 넘도록 최신 기술 수준의 성능을 유지함으로써, 정확한 분할 모델의 자동화된 전문가 없는 훈련이 이제는 가능하고 안정적임을 입증하였다.

ABSTRACT

International challenges have become the de facto standard for comparative assessment of image analysis algorithms given a specific task. Segmentation is so far the most widely investigated medical image processing task, but the various segmentation challenges have typically been organized in isolation, such that algorithm development was driven by the need to tackle a single specific clinical problem. We hypothesized that a method capable of performing well on multiple tasks will generalize well to a previously unseen task and potentially outperform a custom-designed solution. To investigate the hypothesis, we organized the Medical Segmentation Decathlon (MSD) - a biomedical image analysis challenge, in which algorithms compete in a multitude of both tasks and modalities. The underlying data set was designed to explore the axis of difficulties typically encountered when dealing with medical images, such as small data sets, unbalanced labels, multi-site data and small objects. The MSD challenge confirmed that algorithms with a consistent good performance on a set of tasks preserved their good average performance on a different set of previously unseen tasks. Moreover, by monitoring the MSD winner for two years, we found that this algorithm continued generalizing well to a wide range of other clinical problems, further confirming our hypothesis. Three main conclusions can be drawn from this study: (1) state-of-the-art image segmentation algorithms are mature, accurate, and generalize well when retrained on unseen tasks; (2) consistent algorithmic performance across multiple tasks is a strong surrogate of algorithmic generalizability; (3) the training of accurate AI segmentation models is now commoditized to non AI experts.

연구 동기 및 목표

• 다양한 의료 영상 분할 작업에서 일관된 성능을 보이는 딥 러닝 모델이 이전에 볼 수 없었던 새로운 작업으로 일반화할 수 있는지 조사하기 위해.
• 수동적인 하이퍼파라미터 튜닝 없이도 자동으로 종단 간(end-to-end) 훈련된 분할 모델이 최신 기술 수준의 성능을 달성할 수 있는지 평가하기 위해.
• 최고 성능을 보인 모델의 장기적인 일반화 능력을 도전 주기 이후에도 평가하기 위해.
• 여러 작업에서의 일관된 성능가 모델의 알고리즘 일반화 능력에 대한 신뢰할 수 있는 지표가 되는지 확인하기 위해.
• 정확한 분할 모델을 훈련하는 것이 이제는 상용화되어 임상 및 생물의학적 환경에서 전문가가 아닌 이들도 활용할 수 있음을 입증하기 위해.

제안 방법

• MSD 도전은 다양한 장기, 영상 모달리티(MRI, CT 등) 및 데이터 복잡성(작은 데이터셋, 불균형 레이블 등)을 포함한 10개의 다양한 의료 영상 분할 작업을 조직한다.
• 참가자들은 고정된 10개의 작업에 대해 모델을 훈련하고 테스트하며, DSC(Dice Similarity Coefficient)를 표준화된 평가 기준으로 사용한다.
• 2019년과 2020년 동안 도전은 래핑 평가 형식을 취하여, 새로운 참가자와 모델이 동일한 10개의 작업에 대해 시간이 지남에 따라 평가된다.
• 우승 방법인 nnU-Net은 히ュ리스틱 기반의 신경망 아키텍처 설계를 사용하며, 자동화된 데이터 전처리, 정규화 및 훈련 파이프라인 설정을 포함한다.
• 상위 성능 팀들은 각 작업에 맞는 네트워크 아키텍처를 자동으로 최적화하기 위해 신경망 아키텍처 탐색(Neural Architecture Search, NAS)을 활용하여 성능을 향상시켰지만, 이는 더 높은 계산 부담을 수반한다.
• 2018년 도전에서 우승한 모델(nnU-Net)을 두 해 동안 종단적 모니터링하여 새로운 관련 없는 임상 작업에서의 지속적인 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 의료 영상 분할 작업에서 잘 수행되는 딥 러닝 모델이 새로운, 이전에 볼 수 없었던 작업으로 효과적으로 일반화될 수 있는가?
• RQ2 여러 작업에서의 일관된 성능가 모델의 새로운 임상 문제에 대한 일반화 능력에 대한 신뢰할 수 있는 지표가 되는가?
• RQ3 자동화된 종단 간 훈련 파이프라인(예: nnU-Net)이 수동 하이퍼파라미터 튜닝 없이 최신 기술 수준의 분할 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 신경망 아키텍처 탐색(NAS)과 히ュ리스틱 기반 방법 간에 의료 영상 분할에서 성능 및 계산 비용 측면에서 어떻게 비교되는가?
• RQ5 한 개의 잘 설계된 딥 러닝 모델이 재학습 없이도 오랜 기간 동안 다양한 임상 분할 작업에서 높은 성능을 유지할 수 있는가?

주요 결과

• 2018년 MSD 도전에서 우승한 모델인 nnU-Net은 두 해 동안의 모니터링 기간 동안 여러 개의 새로운 관련 없는 분할 작업에서 최신 기술 수준의 성능을 유지하였다.
• 스플렌 핵심 분할 작업의 중앙값 DSC는 2018년의 0.94에서 래핑 도전 기간 동안 0.97로 향상되어 시간이 지남에 따라 뚜렷한 성능 향상을 보였다.
• 뇌에서의 비강화 종양 분할 작업은 여전히 가장 도전적인 과제였으며, 중앙값 DSC가 0.47로 나타나 소형 객체 및 저대비 분할 문제에 대한 지속적인 과제를 보여주었다.
• 2019년과 2020년 동안 세 가지 방법이 2018년 도전에서의 최고 성과를 초월하여, 도전 기간 내내 분할 성능 향상이 지속됨을 보여주었다.
• 신경망 아키텍처 탐색(NAS)은 상위 성능 팀들 사이에서 주요 추세로 부상하였으며, 히ュ리스틱 기반 방법(예: nnU-Net)보다 향상된 결과를 도출했지만, 더 높은 계산 비용을 수반하였다.
• 본 연구는 여러 작업에서의 일관된 성능가 모델의 일반화 능력에 대한 강력한 예측 지표임을 확인하였으며, MSD 도전의 핵심 가설을 검증하였다.