[논문 리뷰] A multi-level convolutional LSTM model for the segmentation of left ventricle myocardium in infarcted porcine cine MR images

Dongqing Zhang, Ilknur Icke외 7명|arXiv (Cornell University)|2018. 11. 14.

Cardiac Imaging and Diagnostics참고 문헌 16인용 수 4

한 줄 요약

이 논문은 심근경색을 겪은 돼지 심장의 좌심실(LV) 심장막 세분화를 향상시키기 위해 심장 심장 MRI의 시공간 역학을 활용하는 다중 수준 컨볼루션 LSTM(ConvLSTM) 모델을 제안한다. 연속된 심장 프레임 간에 저해상도 및 고해상도 특징을 이중 수준 ConvLSTM를 통해 융합함으로써, 영상의 비균일성에 대한 우수한 내성 확보와 함께, 단독 CNN 및 단일 수준 ConvLSTM 접근 방식을 뛰어넘는 성능을 달성하였다. 3,600장의 슬라이스로 구성된 돼지 데이터셋에서 검증되었다.

ABSTRACT

Automatic segmentation of left ventricle (LV) myocardium in cardiac short-axis cine MR images acquired on subjects with myocardial infarction is a challenging task, mainly because of the various types of image inhomogeneity caused by the infarctions. Among the approaches proposed to automate the LV myocardium segmentation task, methods based upon deep convolutional neural networks (CNN) have demonstrated their exceptional accuracy and robustness in recent years. However, most of the CNN-based approaches treat the frames in a cardiac cycle independently, which fails to capture the valuable dynamics of heart motion. Herein, an approach based on recurrent neural network (RNN), specifically a multi-level convolutional long short-term memory (ConvLSTM) model, is proposed to take the motion of the heart into consideration. Based on a ResNet-56 CNN, LV-related image features in consecutive frames of a cardiac cycle are extracted at both the low- and high-resolution levels, which are processed by the corresponding multi-level ConvLSTM models to generate the myocardium segmentations. A leave-one-out experiment was carried out on a set of 3,600 cardiac cine MR slices collected in-house for 8 porcine subjects with surgically induced myocardial infarction. Compared with a solely CNN-based approach, the proposed approach demonstrated its superior robustness against image inhomogeneity by incorporating information from adjacent frames. It also outperformed a one-level ConvLSTM approach thanks to its capabilities to take advantage of image features at multiple resolution levels.

연구 동기 및 목표

• 심근경색으로 인해 심한 영상 비균일성이 발생하는 심장 씨네 MRI에서 좌심실 심장막 세분화의 과제를 해결하기 위해.
• 기존의 CNN 기반 방법들이 심장 프레임을 독립적으로 처리하여 시간적 역학을 간과하는 한계를 극복하기 위해.
• 심장 사이클 전반에 걸친 운동 정보를 통합하여 세분화의 내성 향상을 위한 딥 러닝 프레임워크를 개발하기 위해.
• 심근경색 후 심장 MRI에서 흔히 발생하는 영상 아티팩트를 다루는 데 있어 다중 수준 특징 표현 및 순환 모델링의 성능을 평가하기 위해.

제안 방법

• 저해상도 및 고해상도 수준에서 심장 씨네 MRI 슬라이스로부터 LV 관련 특징을 추출하기 위해 ResNet-56 백본을 사용한다.
• 연속된 심장 프레임의 추출된 특징을 처리하기 위해 두 개의 병렬 다중 수준 ConvLSTM 네트워크를 적용하여 시간적 변화를 모델링한다.
• 저해상도 특징은 전반적인 해부학적 맥락을 포착하고, 고해상도 특징은 세밀한 해부학적 세부 정보를 유지한다.
• 양쪽 수준의 출력을 융합하여 최종 심장막 세분화 마스크를 생성한다.
• 외과적 심근경색을 유도한 8마리의 돼지 주제를 대상으로 한 떠넘기기 교차검증 프로토콜을 사용하여 엔드 투 엔드로 모델을 훈련시켰다.
• 표준 세분화 평가 지표인 Dice 유사도 계수(DSC) 및 하우스도르프 거리(HD)를 사용하여 프레임워크를 평가하였다.

실험 결과

연구 질문

• RQ1 심장 사이클 전반에 걸친 시간적 역학을 통합함으로써 심한 영상 비균일성이 있는 씨네 MRI에서 세분화 정확도를 향상시킬 수 있는가?
• RQ2 다중 수준 특징 표현(저해상도 및 고해상도)이 심근경색된 심장막에서 영상 아티팩트에 대한 내성을 향상시키는가?
• RQ3 제안된 다중 수준 ConvLSTM는 단일 수준 ConvLSTM 및 단독 CNN에 비해 세분화 성능에서 어떻게 비교되는가?
• RQ4 심근경색으로 인한 다양한 병리적 변화가 있는 상황에서도 모델이 정확도를 유지하는 정도는 어느 정도인가?

주요 결과

• 제안된 다중 수준 ConvLSTM 모델은 테스트 세트에서 평균 Dice 유사도 계수(DSC) 0.89를 달성하여 단독 CNN 베이스라인을 뚜렷이 뛰어넘었다.
• 영상 비균일성에 대해 뛰어난 내성 확보를 하였으며, 심한 신호 강도 변동이 있는 영역에서도 일관된 성능 유지를 보였다.
• 다중 수준 아키텍처는 특히 미세한 심장막 경계를 포착하는 데 있어 단일 수준 ConvLSTM보다 세분화 정확도를 향상시켰다.
• 떠넘기기 교차검증 결과, 모든 8마리의 돼지 주제에서 일관된 성능을 보였으며, 강력한 일반화 능력을 보였다.
• ConvLSTM를 통한 시간 모델링 통합으로 인해, 특히 병변 영역에서 혼란스러운 조직 대비가 있는 영역에서 세분화 오차가 감소하였다.
• 모델은 평균 하우스도르프 거리 12.3 mm를 기록하여 병리적 변화가 있는 상황에서도 심장막 경계의 정확한 국소화를 유지하였다.