[논문 리뷰] MyoPS-Net: Myocardial Pathology Segmentation with Flexible Combination of Multi-Sequence CMR Images

Junyi Qiu, Lei Li외 5명|arXiv (Cornell University)|2022. 11. 06.

Medical Imaging Techniques and Applications인용 수 14

한 줄 요약

MyoPS-Net는 bSSFP, LGE, T2, T1 매핑, T2* 매핑를 포함한 다양한 다중 시퀀스 심장 MRI(CMR) 조합을 유연하게 활용하여 심장병변 분할을 위한 엔드 투 엔드 딥 러닝 프레임워크이다. 교차 모달 특징 융합, 심장 근육 일관성 모듈, 포함성 손실을 적용하여 난류 및 부종의 분할 성능을 향상시켰으며, 부족하거나 완전하지 않은 CMR 시퀀스가 존재하는 상황에서도 최신 기술 수준의 성능을 달성하여 임상 적용 가능성에서 뛰어난 성능을 보였다.

ABSTRACT

Myocardial pathology segmentation (MyoPS) can be a prerequisite for the accurate diagnosis and treatment planning of myocardial infarction. However, achieving this segmentation is challenging, mainly due to the inadequate and indistinct information from an image. In this work, we develop an end-to-end deep neural network, referred to as MyoPS-Net, to flexibly combine five-sequence cardiac magnetic resonance (CMR) images for MyoPS. To extract precise and adequate information, we design an effective yet flexible architecture to extract and fuse cross-modal features. This architecture can tackle different numbers of CMR images and complex combinations of modalities, with output branches targeting specific pathologies. To impose anatomical knowledge on the segmentation results, we first propose a module to regularize myocardium consistency and localize the pathologies, and then introduce an inclusiveness loss to utilize relations between myocardial scars and edema. We evaluated the proposed MyoPS-Net on two datasets, i.e., a private one consisting of 50 paired multi-sequence CMR images and a public one from MICCAI2020 MyoPS Challenge. Experimental results showed that MyoPS-Net could achieve state-of-the-art performance in various scenarios. Note that in practical clinics, the subjects may not have full sequences, such as missing LGE CMR or mapping CMR scans. We therefore conducted extensive experiments to investigate the performance of the proposed method in dealing with such complex combinations of different CMR sequences. Results proved the superiority and generalizability of MyoPS-Net, and more importantly, indicated a practical clinical application.

연구 동기 및 목표

• 이미지 품질, 흐린 경계, 복잡한 다중 시퀀스 데이터 융합으로 인해 영향을 받는 임상 심장 MRI에서 정확한 심장병변 및 부종 분할 문제를 해결한다.
• LGE 또는 매핑 스캔과 같은 시퀀스가 누락된 경우를 포함하여 다양한 CMR 시퀀스 조합을 다룰 수 있는 통합 딥 러닝 프레임워크를 개발한다.
• 심장 근육 일관성 모듈을 통한 해부학적 사전 지식 통합과 포함성 손실을 통한 병변 간 공간적 관계 모델링을 통해 국소화 및 분할 정확도를 향상시킨다.
• 완전한 다중 시퀀스 스캔이 항상 확보되지 않는 실질적인 임상 환경에서의 프레임워크의 강건성과 일반화 능력을 입증한다.
• 심장 구조 및 병변 분할을 동시에 최적화하는 엔드 투 엔드 학습을 가능하게 하여 이중 단계 파ip라인에 대한 의존도를 줄인다.

제안 방법

• 다섯 가지 CMR 시퀀스(bSSFP, LGE, T2, T1 매핑, T2* 매핑) 간 특징을 적응적으로 학습하고 융합하는 교차 모달 특징 융합 아키텍처를 제안하여 다양한 입력 조합을 지원한다.
• 해부학적 타당성을 유지하고 병변 영역의 국소화를 향상시키기 위해 심장 근육 사전 지식과 일관성 모듈을 도입한다.
• 난류가 부종 영역 내에 포함되어야 한다는 공간 제약 조건을 강제하여 분할 정밀도를 향상시키는 포함성 손실을 설계한다.
• 난류 및 부종 분할을 위한 공유 인코더와 출력 브랜치를 갖춘 엔드 투 엔드 학습 프레임워크를 구현하여 병변 탐지의 공동 최적화를 가능하게 한다.
• 다중 시퀀스 CMR 이미지의 사전 정렬을 위해 MvMM 방법을 활용하지만, 실제 임상 데이터는 종종 이러한 정렬이 부족하다는 점을 고려하여 향후 공동 정렬 및 분할 작업의 필요성을 제안한다.
• bSSFP 및 LGE 또는 bSSFP 및 T2와 같은 다양한 입력 구성에 대한 유연성 지원을 제공하며, 네 가지의 구체적인 임상 시나리오에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 일부 시퀀스가 누락된 경우에도 여러 CMR 시퀀스를 융합하여 최신 기술 수준의 심장병변 분할 성능을 달성할 수 있는 딥 러닝 프레임워크의 가능성은 무엇인가?
• RQ2 난류가 부종 영역의 부분집합이라는 공간적 관계를 모델링함으로써 제안된 포함성 손실이 분할 정확도 향상에 얼마나 효과적인가?
• RQ3 심장 근육 일관성 모듈이 분할 결과의 국소화 정확도와 해부학적 타당성 향상에 어느 정도 기여하는가?
• RQ4 LGE 또는 매핑 시퀀스가 누락된 경우와 같은 불완전한 CMR 시퀀스를 포함한 다양한 임상 시나리오에서 MyoPS-Net의 성능은 어떠한가?
• RQ5 완전한 다중 시퀀스 스캔이 정기적으로 확보되지 않는 실제 임상 환경에서도 프레임워크가 일반화 가능한가?

주요 결과

• MICCAI2020 MyoPS 챌린지 데이터셋에서 MyoPS-Net은 심장 난류 분할에 평균 Dice 스코어 0.661 ± 0.255, 부종 분할에 0.742 ± 0.124를 기록하여 기존 방법들을 능가했다.
• 50개의 쌍체 다중 시퀀스 CMR 스캔으로 구성된 사적 데이터셋에서 MyoPS-Net은 난류 분할에 대해 0.647 ± 0.258, 부종 분할에 대해 0.722 ± 0.135의 Dice 스코어를 기록하여 다양한 데이터셋에서 뛰어난 성능을 보였다.
• bSSFP 및 LGE CMR 시퀀스만으로도 모델은 난류 분할에 대해 0.583 ± 0.153, 부종 분할에 대해 0.628 ± 0.125의 Dice 스코어를 기록하여 제한된 스캔 환경에서도 실용적인 유용성을 입증했다.
• 포함성 손실은 특히 난류가 부종 영역 내에 포함되어야 한다는 해부학적 관계를 유지하는 데 있어 분할 일관성 향상에 뚜렷한 기여를 하였다.
• 광범위한 아보레이션 연구를 통해 교차 모달 융합 아키텍처와 일관성 모듈이 특히 낮은 데이터 환경에서 성능 향상에 크게 기여한다는 것이 확인되었다.
• LGE 또는 매핑 시퀀스가 누락된 경우를 포함한 네 가지의 구체적인 임상 시나리오에서 프레임워크는 강건성과 일반화 능력을 입증하였으며, 실질적인 임상 적용 가능성에서 뛰어난 성능을 보였다.