[논문 리뷰] Direct Estimation of Regional Wall Thicknesses via Residual Recurrent Neural Network

Wufeng Xue, Ilanit Ben Nachum외 4명|arXiv (Cornell University)|2017. 05. 26.

Cardiac Imaging and Diagnostics참고 문헌 28인용 수 15

한 줄 요약

이 논문은 심장 MRI에서 지역 벽 두께(Regional Wall Thickness, RWT)를 직접, 엔드 투 엔드로 추정하기 위한 새로운 잔차 순환 신경망(Residual Recurrent Neural Network, ResRNN)을 제안한다. 이는 공간적 및 시간적 의존성을 이중 경로 아키텍처를 통해 활용하며, 프레임별 임베딩을 위한 CNN과 심장 박동의 동적 변형을 모델링하기 위한 Circle-RNN를 포함한다. 이 방법은 145명의 환자에서 평균 절대 오차(MAE)가 1.44 mm를 기록하며, 최신의 세그멘테이션 기반 및 이중 단계 직접 추정 방법을 모두 능가한다.

ABSTRACT

Accurate estimation of regional wall thicknesses (RWT) of left ventricular (LV) myocardium from cardiac MR sequences is of significant importance for identification and diagnosis of cardiac disease. Existing RWT estimation still relies on segmentation of LV myocardium, which requires strong prior information and user interaction. No work has been devoted into direct estimation of RWT from cardiac MR images due to the diverse shapes and structures for various subjects and cardiac diseases, as well as the complex regional deformation of LV myocardium during the systole and diastole phases of the cardiac cycle. In this paper, we present a newly proposed Residual Recurrent Neural Network (ResRNN) that fully leverages the spatial and temporal dynamics of LV myocardium to achieve accurate frame-wise RWT estimation. Our ResRNN comprises two paths: 1) a feed forward convolution neural network (CNN) for effective and robust CNN embedding learning of various cardiac images and preliminary estimation of RWT from each frame itself independently, and 2) a recurrent neural network (RNN) for further improving the estimation by modeling spatial and temporal dynamics of LV myocardium. For the RNN path, we design for cardiac sequences a Circle-RNN to eliminate the effect of null hidden input for the first time-step. Our ResRNN is capable of obtaining accurate estimation of cardiac RWT with Mean Absolute Error of 1.44mm (less than 1-pixel error) when validated on cardiac MR sequences of 145 subjects, evidencing its great potential in clinical cardiac function assessment.

연구 동기 및 목표

• 기존에 시간이 많이 소요되는 세그멘테이션에 의존하는 심장 MRI에서 직접 RWT 추정 방법의 부족을 해결하기 위해.
• 심장 주기 전반에 걸쳐 다양하게 변하는 심장 해부학적 구조와 복잡한 지역 심장판 변형에 의해 발생하는 과제를 극복하기 위해.
• 심장 시퀀스의 공간적 및 시간적 의존성을 모두 포착하는 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 수동 세그멘테이션에 의존하는 것을 제거하고 RWT 추정의 정확성과 강인성을 향상시키기 위해.
• 주기적인 심장 운동과 원형 배열의 심장판을 고려한 새로운 Circle-RNN를 도입하여 첫 번째 단계 초기화 오차를 줄이기 위해.

제안 방법

• ResRNN는 이중 경로 아키텍처를 사용한다: 이미지 임베딩을 이용해 독립적으로 각 프레임의 RWT를 추정하는 CNN 경로와 잔차 보정을 수행하는 RNN 경로.
• RNN 경로에서는 시간적 RNN을 통해 심장 단계 간 장거리 의존성을 모델링하고, 공간적 RNN을 통해 인접한 심장판 세그먼트 간 상호 관계를 포착한다.
• 심장 주기의 주기성과 좌심실 벽 세그먼트의 원형 배열을 활용하여, 초기 은닉 상태가 0인 상태에서 발생하는 영향을 줄이기 위해 새로운 Circle-RNN를 설계하였다.
• RNN이 CNN의 初기 예측에서 발생하는 오차를 보정하는 잔차 학습 전략을 사용하여, 네트워크를 엔드 투 엔드로 훈련시켰다.
• 짧은 축 씨네 MRI 시퀀스를 처리하며, 표준화된 6세그먼트 모델을 사용해 각 세그먼트의 RWT를 추정한다.
• 145명의 심장 MRI 환자 데이터셋을 5겹 교차검증을 통해 검증하였다.

실험 결과

연구 질문

• RQ1 심장 MRI에서 사전 세그멘테이션을 필요로 하지 않고도 딥 러닝 모델이 지역 벽 두께를 직접 추정할 수 있는가?
• RQ2 심장 운동의 공간적 및 시간적 의존성을 효과적으로 모델링하면 RWT 추정 정확도가 향상되는가?
• RQ3 새로운 Circle-RNN 아키텍처는 첫 번째 심장 프레임에서 발생하는 0 초기 은닉 상태로 인한 오차를 줄일 수 있는가?
• RQ4 공간적 및 시간적 역학을 엔드 투 엔드로 학습하는 것이 특징 추출과 회귀를 분리하는 이중 단계 방법보다 우수한가?
• RQ5 제안된 ResRNN은 최신의 세그멘테이션 기반 및 직접 추정 방법과 비교해 RWT 정확도에서 어떤가?

주요 결과

• 제안된 ResRNN은 모든 145명의 환자에서 평균 절대 오차(MAE)가 1.44 mm를 기록하여, 한 픽셀 이내의 높은 추정 정확도를 입증하였다.
• LV 세그멘테이션에서 DICE 스코어가 0.9182를 기록한 Max Flow 세그멘테이션 기반 방법보다 MAE 감소율이 55.14% 높아, 성능 향상을 입증하였다.
• 가장 우수한 이중 단계 직접 방법(MCDBN+RF) 대비 오차를 12.73% 감소시켜, 엔드 투 엔드 학습의 우수성을 확인하였다.
• Circle-RNN는 일반 RNN보다 일관되게 성능을 향상시키며, 특히 첫 번째 심장 프레임에서의 동적 정보 보존에 유리하다.
• Max Flow와 달리 ResRNN은 모든 심장 프레임에서 일관되게 낮은 추정 오차를 유지한다. 반면 Max Flow는 첫 번째 프레임에서의 거리가 멀어질수록 오차가 증가한다.
• 이중 경로 설계—CNN 기반의 프레임별 추정과 RNN 기반의 잔차 보정—이 효과적임을 입증하였으며, 양측 모두 최종 정확도에 독자적인 기여를 한다.