[논문 리뷰] Multi-Modality Cardiac Image Analysis with Deep Learning

Lei Li, Fuping Wu외 2명|arXiv (Cornell University)|2021. 11. 08.

Cardiac Imaging and Diagnostics인용 수 4

한 줄 요약

이 논문은 LGE-MRI에서 비강화 MRI를 보조 입력으로 사용하여 좌심방 섬유틱화 부위 분할을 중심으로 다중 모odal리틱 심장 영상 분석을 위한 딥러닝 프레임워크를 제시한다. 또한, CT와 MR 영상 간 도메인 간섭을 줄이기 위해 세 가지 비지도 도메인 적응 방법—DDFSeg, CFDNet, VarDA—를 도입한다. 제안된 방법들은 명시적 도메인 불일치 측도와 분리된 특징 학습을 활용하여 분할 정확도를 향상시키며, VarDA는 LGE-MRI 분할에서 최신 기술 수준의 성능을 달성했다 (MYO: 73.03%, LV: 88.06%).

ABSTRACT

Accurate cardiac computing, analysis and modeling from multi-modality images are important for the diagnosis and treatment of cardiac disease. Late gadolinium enhancement magnetic resonance imaging (LGE MRI) is a promising technique to visualize and quantify myocardial infarction (MI) and atrial scars. Automating quantification of MI and atrial scars can be challenging due to the low image quality and complex enhancement patterns of LGE MRI. Moreover, compared with the other sequences LGE MRIs with gold standard labels are particularly limited, which represents another obstacle for developing novel algorithms for automatic segmentation and quantification of LGE MRIs. This chapter aims to summarize the state-of-the-art and our recent advanced contributions on deep learning based multi-modality cardiac image analysis. Firstly, we introduce two benchmark works for multi-sequence cardiac MRI based myocardial and pathology segmentation. Secondly, two novel frameworks for left atrial scar segmentation and quantification from LGE MRI were presented. Thirdly, we present three unsupervised domain adaptation techniques for cross-modality cardiac image segmentation.

연구 동기 및 목표

• 심장경색 및 심방 섬유틱화 부위 정량화에 있어 저품질 LGE-MRI와 제한된 골드스탠다드 레이블 문제를 해결하기 위해.
• LGE-MRI와 보조적인 비강화 MRI 시퀀스를 활용하여 좌심방 섬유틱화 부위 분할을 위한 강건한 딥러닝 프레임워크를 개발하기 위해.
• CT와 MR 영상 간 도메인 이동을 줄이기 위해 비지도 도메인 적응 기법을 도입하여 다중 모달리틱 심장 분할 성능을 향상시키기 위해.
• 다양한 영상 모odal리틱 간 분할 작업에서 애드바르시얼 트레이닝과 대비하여 명시적 도메인 불일치 측도의 성능을 평가하고 비교하기 위해.

제안 방법

• LGE-MRI와 비강화 MRI를 입력으로 사용하는 좌심방 섬유틱화 부위 분할을 위한 제안된 LearnGC 및 AtrialJSQnet 네트워크.
• DDFSeg: 도메인 특화 특징(DSFs)과 콘텐츠 특징을 분리하여 영상 변환 및 적응 성능을 향상시키는 도메인 적응 프레임워크.
• CFDNet: 소스 및 타겟 특징 간 도메인 불일치를 측정하기 위해 새로운 명시적 측도인 콘크리트 프리셰트 거리(CFD)를 사용하여 애드바르시얼 트레이닝을 대체함.
• VarDA: 변분 근사법을 사용하여 측도 계산을 단순화하고 특징 상관관계 모델링을 향상시키는 변분 도메인 적응 방법.
• 비지도 도메인 적응 기법을 적용하여 CT에서 MR 영상, 그리고 MR에서 LGE-MRI로 지식을 전이함. 타겟 데이터는 레이블 없이만 사용함.
• 다중 시퀀스 MRI 입력을 활용한 2D 슬라이스 기반 분할을 적용하며, 데이터 증강 및 정규화를 통해 강건성을 향상시킴.

Figure 1: Visualization of myocardial pathology segmentation combing multi-sequence CMR images acquired from the same patient. Image adopted from the website of MyoPS 2020 challenge: http://www.sdspeople.fudan.edu.cn/zhuangxiahai/0/myops20/.

실험 결과

연구 질문

• RQ1 비강화 MRI 시퀀스와 함께 LGE-MRI에서 좌심방 섬유틱화 부위를 효과적으로 분할할 수 있는가?
• RQ2 다중 모달리틱 심장 영상 분할 작업에서 명시적 도메인 불일치 측도는 애드바르시얼 트레이닝보다 어떻게 비교되는가?
• RQ3 특징 분리 기법은 다중 모달리틱 심장 MRI 분석에서 도메인 적응 성능 향상에 얼마나 기여하는가?
• RQ4 비지도 도메인 적응 프레임워크는 레이블이 없는 타겟 데이터를 요구하지 않고 CT와 MR 심장 분할 간 성능 격차를 줄일 수 있는가?
• RQ5 변분 근사법을 도메인 적응에 적용할 경우, 자원이 제한된 LGE-MRI 데이터에서 분할 정확도 향상에 어떤 영향을 미치는가?

주요 결과

• VarDA는 LGE-MRI 분할에서 가장 높은 Dice 스코어를 기록했으며, 심장근(MYO)은 73.03%, 좌심실(LV)은 88.06%, 우심실(RV)은 78.47%를 기록하여 CFDNet 및 SIFA를 능가함.
• CFDNet는 애드바르시얼 트레이닝 방법과 유사한 분할 성능을 달성했으며, Dice 스코어는 MYO 69.1%, LV 86.4%, RV 76.0%를 기록하여 명시적 측도 학습의 효과를 입증함.
• DDFSeg는 도메인 특화 특징을 성공적으로 분리하여 영상 변환 품질을 향상시키고, 다중 시퀀스 MRI 작업에서 더 나은 도메인 적응을 가능하게 함.
• VarDA에서 변분 근사법을 사용함으로써 계산 복잡도가 감소하고 특징 상관관계 모델링이 향상되어 더 안정적이고 정확한 분할이 가능해짐.
• PnP-AdaNet 및 기타 베이스라인은 특히 RV 분할에서 VarDA 및 CFDNet에 비해 열등한 성능을 보였으며, 명시적 측도 학습의 우수성을 강조함.
• 시각적 비교 결과, VarDA 및 CFDNet는 특히 저대비 영역에서 복잡한 해부학적 경계를 더 자연스럽게 생성함.

Figure 2: The average Dice score of the nine evaluated methods on each slice of the 40 test LGE CMR images. Image adopted from Zhuang et al. [ 28 ]