[논문 리뷰] The Extreme Cardiac MRI Analysis Challenge under Respiratory Motion (CMRxMotion)

Shuo Wang, Chen Qin외 13명|arXiv (Cornell University)|2022. 10. 12.

Cardiac Imaging and Diagnostics인용 수 13

한 줄 요약

이 논문은 심장 MRI에서 통제된 극한의 호흡 운동 조건 하에서 40명의 건강한 자원자를 대상으로 사전에 스캔하여 만든 공개 기준 데이터셋인 CMRxMotion 챌린지를 소개한다. 이 챌린지는 다양한 운동 아티팩트 조건 하에서 영상 품질 평가 및 심실 분할 성능 평가에 있어 모델의 강인성을 평가하며, Cohen의 카파 및 Dice/하우스도르프 지표를 사용한다. 최종 오프라인 평가에는 15명의 테스트 자원자 결과를 활용한다.

ABSTRACT

The quality of cardiac magnetic resonance (CMR) imaging is susceptible to respiratory motion artifacts. The model robustness of automated segmentation techniques in face of real-world respiratory motion artifacts is unclear. This manuscript describes the design of extreme cardiac MRI analysis challenge under respiratory motion (CMRxMotion Challenge). The challenge aims to establish a public benchmark dataset to assess the effects of respiratory motion on image quality and examine the robustness of segmentation models. The challenge recruited 40 healthy volunteers to perform different breath-hold behaviors during one imaging visit, obtaining paired cine imaging with artifacts. Radiologists assessed the image quality and annotated the level of respiratory motion artifacts. For those images with diagnostic quality, radiologists further segmented the left ventricle, left ventricle myocardium and right ventricle. The images of training set (20 volunteers) along with the annotations are released to the challenge participants, to develop an automated image quality assessment model (Task 1) and an automated segmentation model (Task 2). The images of validation set (5 volunteers) are released to the challenge participants but the annotations are withheld for online evaluation of submitted predictions. Both the images and annotations of the test set (15 volunteers) were withheld and only used for offline evaluation of submitted containerized dockers. The image quality assessment task is quantitatively evaluated by the Cohen's kappa statistics and the segmentation task is evaluated by the Dice scores and Hausdorff distances.

연구 동기 및 목표

• 심장 MRI 영상 품질에 대한 호흡 운동의 영향을 평가하기 위한 공개 기준 데이터셋을 구축하기.
• 실제 임상 환경에서 극한의 호흡 운동 아티팩트 조건 하에서 자동 분할 모델의 강인성을 평가하기.
• 이미지 품질 평가 및 분할 작업을 위한 훈련, 검증, 테스트 세트를 포함한 표준화된 챌린지 프레임워크 제공하기.
• 표준화된 지표를 사용하여 다양한 수준의 운동 아티팩트 심각도에서 딥 러닝 모델 간의 비교를 가능하게 하기.
• 환자의 호흡 억제가 일관되지 않은 상황에서도 임상적으로 신뢰할 수 있는 AI 도구 개발을 지원하기.

제안 방법

• 3T 스캐너에서 한 번의 MRI 세션 동안 4가지 다른 호흡 억제 행동(준수, 반절, 자유, 강도 높은 호흡)을 수행한 40명의 건강한 자원자를 모집하였다.
• 호흡 운동을 유일한 변수로 분리하기 위해 일관된 스캐너 및 프로토콜을 사용해 수축기 말과 이완기 말의 단면 영상(Short-axis cine MRI)을 쌍으로 확보하였다.
• 의사가 주석 처리한 영상 품질 레이블(경미함, 중간, 심함)과 진단 품질 영상의 좌심실, 심장근육, 우심실에 대한 수동 분할 결과를 사용하였다.
• 모델 개발 및 온라인 평가를 위해 훈련(20명) 및 검증(5명) 데이터를 공개하였다.
• 오프라인 평가를 위해 테스트 세트(15명)를 별도로 보관하여 컨테이너화된 도커 제출 결과의 공정성과 재현 가능성을 확보하였다.
• MedPy 및 scikit-learn 구현체를 사용해 영상 품질 평가에는 Cohen의 카파, 분할 평가에는 Dice 점수 및 95% 하우스도르프 거리로 평가하였다.

실험 결과

연구 질문

• RQ1 호흡 운동의 심각도가 심장 MRI 시계열 영상의 진단 품질에 어떤 영향을 미치는가?
• RQ2 자동 영상 품질 평가 모델이 경미한, 중간의, 심한 운동 아티팩트를 얼마나 잘 구분할 수 있는가?
• RQ3 극한 조건에서의 호흡 운동 아티팩트에 대해 딥 러닝 분할 모델의 강인성은 어느 정도인가?
• RQ4 아티팩트가 없는 데이터로 훈련된 모델이 심한 운동 아티팩트를 포함한 영상으로 일반화 가능한가? 성능 저하는 어떻게 나타나는가?
• RQ5 다양한 수준의 운동 아티팩트 조건 하에서 좌심실, 심장근육, 우심실 분할 성능에서 다양한 모델 간의 상대적 성능은 어떠한가?

주요 결과

• CMRxMotion 챌린지 데이터셋은 40명의 자원자와 4가지의 서로 다른 호흡 억제 행동을 통해 심장 MRI에서 극한의 호흡 운동을 시뮬레이션하는 통제된 사전 기반 기준을 제공한다.
• 영상 품질 평가 모델은 Cohen의 카파를 사용하여 평가되었으며, 유의성 검정을 위해 부트스트랩 리샘플링과 대응 검정의 와일콕 테스트를 활용한 순위를 산정하였다.
• 분할 모델 평가에는 Dice 점수와 95% 하우스도르프 거리가 사용되었으며, 최종 순위는 LV, MYO, RV 구조물에 대해 '순위를 매긴 후 집계' 전략을 통해 계산되었다.
• 컨테이너화된 도커 제출을 통해 15개의 테스트 케이스에 대한 오프라인 평가가 성공적으로 수행되어 재현 가능성과 공정성을 확보하였다.
• 데이터셋과 챌린지 프레임워크는 Synapse 및 챌린지 웹사이트를 통해 공개되어 향후 모델 강인성 연구를 지원한다.
• 최고 성능을 낸 모델들은 운동 아티팩트에 대한 일반화 능력이 향상된 것으로 나타나, 극한의 실제 환경 변화에서 모델을 시험해보는 것의 가치를 입증하였다.