[논문 리뷰] Aligning Multi-Sequence CMR Towards Fully Automated Myocardial Pathology Segmentation

Wangbin Ding, Lei Li외 6명|arXiv (Cornell University)|2023. 02. 07.

Medical Imaging Techniques and ApplicationsMedicine인용 수 3

한 줄 요약

이 논문은 호흡 운동으로 인해 정렬되지 않은 다중 시퀀스 심장 MRI(MS-CMR)에서 심장병변 분할을 위한 완전 자동 프레임워크인 U-MyoPS를 제안한다. 이미지 정렬과 특징 융합을 동시에 수행함으로써, 새로운 다중 시퀀스 융합 모듈과 구조 전파 헤드를 도입하여 심장병변과 심장근육 간의 공간적 관계를 활용해 분할 정확도를 향상시켰으며, 사전 정렬이 필요 없이 비공개 및 공개 MS-CMR 데이터셋에서 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Myocardial pathology segmentation (MyoPS) is critical for the risk stratification and treatment planning of myocardial infarction (MI). Multi-sequence cardiac magnetic resonance (MS-CMR) images can provide valuable information. For instance, balanced steady-state free precession cine sequences present clear anatomical boundaries, while late gadolinium enhancement and T2-weighted CMR sequences visualize myocardial scar and edema of MI, respectively. Existing methods usually fuse anatomical and pathological information from different CMR sequences for MyoPS, but assume that these images have been spatially aligned. However, MS-CMR images are usually unaligned due to the respiratory motions in clinical practices, which poses additional challenges for MyoPS. This work presents an automatic MyoPS framework for unaligned MS-CMR images. Specifically, we design a combined computing model for simultaneous image registration and information fusion, which aggregates multi-sequence features into a common space to extract anatomical structures (i.e., myocardium). Consequently, we can highlight the informative regions in the common space via the extracted myocardium to improve MyoPS performance, considering the spatial relationship between myocardial pathologies and myocardium. Experiments on a private MS-CMR dataset and a public dataset from the MYOPS2020 challenge show that our framework could achieve promising performance for fully automatic MyoPS.

연구 동기 및 목표

• 호흡 운동으로 인해 정렬되지 않은 다중 시퀀스 심장 MRI(MS-CMR)에서 심장병변 분할 문제를 해결하기 위해.
• 정렬되지 않은 MS-CMR 스캔에서 이미지 정렬과 특징 융합을 동시에 수행하는 통합 프레임워크를 개발하기 위해.
• 심장근육과 병변 간의 공간적 관계를 활용하여 분할 성능을 향상시키기 위해.
• 사전 정렬 데이터가 필요 없이 완전 자동, 시간 효율적이고 임상적으로 적용 가능한 병변 분할을 가능하게 하기 위해.

제안 방법

• 다중 시퀀스 이미지 정렬과 특징 융합을 종합적으로 최적화하는 통합 계산 모델을 제안하여 엔드 투 엔드 방식으로 구현한다.
• 다른 CMR 시퀀스에서 유도된 공간적으로 정렬되지 않은 특징 맵을 공통 해부학적 공간으로 통합하기 위해 다중 시퀀스 융합(MSF) 모듈을 도입한다.
• 추출된 심장근육 윤곽을 전파하여 섬유화 및 부종 영역의 분할을 향상시키기 위해 구조 전파 헤드(SP)를 활용한다.
• 공간적 세부 정보를 유지하고 분할 정확도를 향상시키기 위해 스킵 연결을 갖춘 U-Net 기반 아키텍처를 사용한다.
• 정렬, 심장근육 분할, 병변 분할 목적을 통합한 다중 태스크 손실을 사용하여 모델을 훈련시킨다.
• 이중 단계 훈련 전략을 적용한다: 먼저 정렬 및 심장근육 추출을 사전 훈련하고, 이후 병변 분할을 위한 미세 조정을 수행한다.

Figure 1: Visualization of unaligned and aligned multi-sequence cardiac magnetic resonance (MS-CMR) images. (a) Short-axis views of unaligned MS-CMR images, i.e., bSSFP (top), LGE (middle) and T2 (bottom), with contours of the left ventricle (LV) epicardium, scar and edema regions. (b) Warped bSSFP

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크는 정렬되지 않은 다중 시퀀스 심장 MRI에서 정렬 및 분할을 효과적으로 동시에 수행할 수 있는가?
• RQ2 심장근육의 구조 정보를 통합할 경우 심장병변 분할 정확도는 어떻게 향상되는가?
• RQ3 bSSFP, LGE 및 T2-가중 CMR 시퀀스 간의 공간적 이질성은 병변 분할 성능에 어떤 영향을 미치는가?
• RQ4 정렬, 심장근육 추출, 병변 분할의 공동 최적화 전략은 개별 훈련에 비해 성능이 뛰어나게 되는가?
• RQ5 제안된 방법은 다양한 촬영 프로토콜과 데이터셋 간에서 일반화 성능을 어떻게 확보하는가?

주요 결과

• U-MyoPS는 사전 정렬이 필요 없는 비공개 정렬되지 않은 MS-CMR 데이터셋에서 딱 73.1의 Dice 스코어를 기록하여 강력한 성능을 입증하였다.
• MYOPS2020 공개 데이터셋에서 U-MyoPS는 68.6의 Dice 스코어를 기록하여 대부분의 기존 방법을 능가했으며, 도전 대회에서 상위 수준에 속하였다.
• 다중 시퀀스 특징을 동시에 정렬하고 융합함으로써 공간적 이질성의 악영향을 줄여 분할 일관성을 향상시켰다.
• 구조 전파 헤드는 심장근육과 병변 간의 공간적 관계를 활용하여 병변 분할 성능을 크게 향상시켰다.
• 추론 시간은 1건당 단지 10초로, 임상 적용에 적합한 시간 효율성을 입증하였다.
• 강력한 성능를 보였지만, 획득 프로토콜이 크게 다른 데이터에서 시험했을 때 성능 저하가 발생하여 일반화 능력 향상의 필요성을 시사하였다.

Figure 2: Pipeline of the myocardial pathology segmentation (MyoPS) framework, referred to as U-MyoPS, for unaligned multi-sequence cardiac magnetic resonance (MS-CMR) images. The network architecture of the U-MyoPS includes three encoders ( $E_{{bSSFP}}$ , $E_{LGE}$ and $E_{T2}$ ) and two registrat