[논문 리뷰] Segmentation of Multimodal Myocardial Images Using Shape-Transfer GAN

Xumin Tao, Hongrong Wei외 2명|arXiv (Cornell University)|2019. 08. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 5인용 수 4

한 줄 요약

이 논문은 균형 잔류 세밀한 영상(balanced-SSFP, bSSFP)에서 심장 MRI의 실존적인 늦은 갈로니움 강화(LGE) 영상을 생성하면서 해부학적 심장막 형태를 유지하는 Shape-Transfer GAN을 제안한다. 이로 인해 LGE 영상에 대한 끝내기 분할(segmentation)이 LGE 전용 분할 레이블이 필요 없이 가능해진다. 테스트 셋 40명 환자에서 이 방법은 좌심실에 대해 0.847, 우심실에 대해 0.776, 심장막에 대해 0.686의 Dice 점수를 기록하여, 학습 중에 LGE 진실값을 사용하지 않았음에도 강력한 성능을 보였다.

ABSTRACT

Myocardium segmentation of late gadolinium enhancement (LGE) Cardiac MR images is important for evaluation of infarction regions in clinical practice. The pathological myocardium in LGE images presents distinctive brightness and textures compared with the healthy tissues, making it much more challenging to be segment. Instead, the balanced-Steady State Free Precession (bSSFP) cine images show clearly boundaries and can be easily segmented. Given this fact, we propose a novel shape-transfer GAN for LGE images, which can 1) learn to generate realistic LGE images from bSSFP with the anatomical shape preserved, and 2) learn to segment the myocardium of LGE images from these generated images. It's worth to note that no segmentation label of the LGE images is used during this procedure. We test our model on dataset from the Multi-sequence Cardiac MR Segmentation Challenge. The results show that the proposed Shape-Transfer GAN can achieve accurate myocardium masks of LGE images.

연구 동기 및 목표

• 딥 러닝 분할 모델을 훈련하기 위한(annotation된) LGE 심장 MRI 데이터의 부족 문제를 해결하기 위해.
• 비균일한 강도와 뚜렷하지 않은 경계로 인해 어려운 LGE 영상에서 심장막 분할을 향상시키기 위해.
• bSSFP 영상에서 잘 정의된 구조를 활용하여 해부학적 형태를 유지하면서 현실적인 LGE 영상을 합성하는 방법을 개발하기 위해.
• LGE 분할 레이블이 필요 없이 bSSFP 영상에서 유도된 합성 영상-레이블 쌍을 기반으로 분할 네트워크를 훈련시키기 위해.
• MS-CMRSeg 2019 챌린지의 대규모 데이터셋에서 접근법을 검증하여 실제 LGE 영상으로의 일반화 능력을 입증하기 위해.

제안 방법

• bSSFP에서 LGE 영상 도메인으로의 매핑을 학습하기 위해 조건부 GAN 프레임워크를 설계하였으며, 해부학적 형태를 유지하면서 강도 특성을 이전한다.
• 이미지 정밀도를 향상시키기 위해 생성된 LGE 영상이 원본 bSSFP 입력으로 재구성될 수 있도록 사이클 일致성 손실을 도입한다.
• 생성자 내부에 분할 네트워크를 통합하여 새로운 형태 보존 손실을 제안하였으며, 이로써 생성된 LGE 영상이 입력 bSSFP 영상의 심장막 윤곽을 유지하도록 강제한다.
• 학습 중에 bSSFP 분할 레이블만을 사용하여 bSSFP 영상에서 파생된 합성 영상-레이블 쌍을 기반으로 분할 네트워크를 엔드 투 엔드로 훈련시킨다.
• 생성자는 적대적 손실을 통해 현실적인 LGE 스타일의 영상을 생성하도록 훈련되고, 판별자는 실제 LGE 영상과 생성된 영상 간을 구분한다.
• 최종 분할 모델은 추가적인 미세조정 없이 직접 실제 LGE 영상에 적용되며, 형태 일관성 있는 생성 과정을 활용한다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 bSSFP에서 LGE 영상으로 해부학적 형태를 전달하면서도 현실적인 강도 패턴을 생성할 수 있는가?
• RQ2 LGE 분할 진실값 레이블을 사용하지 않고도 형태 보존 영상 합성 기법이 LGE 영상에서의 분할 성능을 향상시키는가?
• RQ3 LGE 분할 레이블이 없는 조건에서 제안된 Shape-Transfer GAN은 U-Net 및 표준 GAN과 같은 기준 모델보다 우수한가?
• RQ4 실제 LGE 데이터로의 미세조정 없이도 모델은 대규모 테스트 셋의 새로운 LGE 영상으로 일반화 가능한가?
• RQ5 형태 보존이 합성 영상-레이블 쌍의 품질과 후속 분할 정확도에 미치는 영향은 무엇인가?

주요 결과

• Shape-Transfer GAN은 40명 환자 LGE 영상에서 좌심실 분할에 대해 0.847 ± 0.054의 Dice 점수를 기록하여, U-Net(0.249 ± 0.197)과 No-Shape GAN(0.589 ± 0.190)을 크게 앞서는 성능을 보였다.
• 우심실 분할에 대해서는 0.776 ± 0.048의 Dice 점수를 기록하여 복잡하고 저대비 영역에서도 뛰어난 안정성을 입증하였다.
• 심장막 분할에 대해서는 0.686 ± 0.078의 Dice 점수를 기록하여 비균일한 강도를 띤 병변 조직을 효과적으로 포착하였다.
• 간편성과 확장성 측면에서 GMM 기반 접근법보다 뛰어나면서도, 최첨단 방법인 SRSCN과 유사한 성능을 달성하였다.
• 제거 실험(ablation study) 결과 형태 보존이 핵심임을 확인하였으며, 이를 제거하면 모든 구조에서 Dice 점수는 20퍼센트 이상 감소하였다.
• 시각화 결과는 모델이 진실값 레이블에 누락된 RV 영역을 성공적으로 복원하였음을 보여주어 더 높은 해부학적 타당성을 확보하였다.