[논문 리뷰] SMILE-UHURA Challenge -- Small Vessel Segmentation at Mesoscopic Scale from Ultra-High Resolution 7T Magnetic Resonance Angiograms

Soumick Chatterjee, Hendrik Mattern외 46명|arXiv (Cornell University)|2024. 11. 14.

Cerebrovascular and Carotid Artery DiseasesMedicine인용 수 3

한 줄 요약

이 논문은 초고해상도 7T MRI 혈관영상에서 중간 척도 뇌 혈관(100–500 µm)을 딥러닝을 활용해 분할하는 데 목적이 있는 SMILE-UHURA 챌린지를 소개한다. 대규모 전문가가 주석 처리한 데이터셋을 제공하고 16가지 방법을 평가하여 보존된 테스트 데이터에서 최대 0.838의 Dice 점수를 달성하였으며, 높은 노이즈와 낮은 대trast로 인해 중간 척도에서의 강력한 혈관 분할의 가능성을 입증한다.

ABSTRACT

The human brain receives nutrients and oxygen through an intricate network of blood vessels. Pathology affecting small vessels, at the mesoscopic scale, represents a critical vulnerability within the cerebral blood supply and can lead to severe conditions, such as Cerebral Small Vessel Diseases. The advent of 7 Tesla MRI systems has enabled the acquisition of higher spatial resolution images, making it possible to visualise such vessels in the brain. However, the lack of publicly available annotated datasets has impeded the development of robust, machine learning-driven segmentation algorithms. To address this, the SMILE-UHURA challenge was organised. This challenge, held in conjunction with the ISBI 2023, in Cartagena de Indias, Colombia, aimed to provide a platform for researchers working on related topics. The SMILE-UHURA challenge addresses the gap in publicly available annotated datasets by providing an annotated dataset of Time-of-Flight angiography acquired with 7T MRI. This dataset was created through a combination of automated pre-segmentation and extensive manual refinement. In this manuscript, sixteen submitted methods and two baseline methods are compared both quantitatively and qualitatively on two different datasets: held-out test MRAs from the same dataset as the training data (with labels kept secret) and a separate 7T ToF MRA dataset where both input volumes and labels are kept secret. The results demonstrate that most of the submitted deep learning methods, trained on the provided training dataset, achieved reliable segmentation performance. Dice scores reached up to 0.838 $\pm$ 0.066 and 0.716 $\pm$ 0.125 on the respective datasets, with an average performance of up to 0.804 $\pm$ 0.15.

연구 동기 및 목표

• 7T MRI에서 중간 척도 혈관 분할을 위한 공개된 고품질 주석 데이터셋의 부족 문제를 해결하기 위해.
• 도전적인 노이즈와 낮은 대trast를 가진 초고해상도 7T 시간도류 MRA에서 딥러닝 방법을 평가하기 위해.
• 인간 뇌 혈관에서 중간 척도(100–500 µm)에서의 소혈관 분할을 위한 벤치마크를 수립하기 위해.
• 보존된 테스트 데이터와 속성이 알려지지 않은 별도의 비밀 데이터셋에서 다양한 방법 간의 성능을 비교하기 위해.
• 분할 모델에서 미세 혈관 세부 정보를 잘 포착하는 것과 노이즈 없는 출력 품질 사이의 상충 관계를 부각하기 위해.

제안 방법

• 챌린지는 3D U-Net 기반 기준 모델과 다중 척도, 다중 해상도 U-Net(DS6)를 기준 모델로 사용한다.
• 자동 사전 분할 후 전문 평가자가 광범위하게 수작업 보정한 방식으로, 대규모 고해상도 7T 시간도류 MRA 데이터셋을 구축하였다.
• 모델들은 공개된 훈련 세트에서 학습되고, 두 개의 테스트 세트에서 평가되었다: 레이블이 알려진(보존된) 세트와 비밀 입력 및 레이블을 가진 비밀 데이터셋.
• 평가에는 Dice 점수, Hausdorff 거리, 그리고 소혈관 분할과 노이즈 없는 출력 품질에 대한 전문가 평가가 사용되었다.
• 데이터셋은 해상도가 150 µm에 이르는 등방성 해상도를 가진 볼륨을 포함하여 중간 척도 혈관의 시각화를 가능하게 한다.
• 일반화성과 내구성을 테스트하기 위해 해상도가 두 배인 별도의 고해상도 챌린지 볼륨이 사용되었다.

실험 결과

연구 질문

• RQ1 초고해상도 7T MRA에서 높은 노이즈와 열악한 대비 조건에도 불구하고 딥러닝 모델이 중간 척도 뇌 혈관의 신뢰할 수 있는 분할을 달성할 수 있는가?
• RQ2 다양한 아키텍처와 전처리 전략이 보존된 테스트 세트와 비밀 테스트 세트에서 Dice 점수와 노이즈 내성 측면에서 어떻게 비교되는가?
• RQ3 미세 혈관 세부 정보를 잘 포착하는 것과 깔끔하고 노이즈 없는 분할 출력을 생성하는 것 사이의 상충 관계는 어떠한가?
• RQ4 다양한 해상도와 영상 특성을 가진 데이터셋 간에 모델의 일반화 능력은 어느 정도인가?
• RQ5 임상적 관련성 평가에서 전문가 평가가 Dice 및 Hausdorff 거리와 같은 정량적 지표와 얼마나 상관이 있는가?

주요 결과

• 최고 성능을 보인 방법은 보존된 테스트 세트에서 0.838 ± 0.066의 Dice 점수를 기록하여 높은 분할 정확도를 입증하였다.
• 비밀 데이터셋에서는 최고 성능 방법이 0.716 ± 0.125의 Dice 점수를 기록하여 예측 불가능한 고노이즈 데이터에서의 뛰어난 성능을 보였다.
• 모든 방법의 평균 Dice 점수는 0.804 ± 0.15로 다양한 아키텍처 간에 일관된 높은 성능을 보였다.
• Koala Manual 방법은 비밀 데이터셋에서 소혈관 분할에 대해 최고의 전문가 평가(4.0 ± 1.0)를 기록했지만, 노이즈 없는 출력 점수는 낮게(1.0 ± 1.5) 기록하여 세부 정보는 잘 포착하지만 노이즈가 많음을 시사했다.
• 기준 모델(UNet MSS 및 DS6)은 두 데이터셋과 평가 기준 모두에서 강력하고 일관된 성능을 보이며 다양한 아키텍처에 대한 견고한 기준을 제공하였다.
• 전문가 평가 결과, 세부 정보 포착 능력이 뛰어난 방법(예: Koala Manual)은 종종 더 노이즈가 많은 출력을 생성하는 반면, 더 깔끔한 모델는 세부 정보 포착 능력을 희생시키는 경향이 있었다.