[논문 리뷰] Left ventricle quantification through spatio-temporal CNNs

Alejandro Debus, Enzo Ferrante|arXiv (Cornell University)|2018. 08. 23.

Advanced MRI Techniques and Applications참고 문헌 1인용 수 5

한 줄 요약

이 논문은 시간적으로 인접한 심장 MRI 단면을 처리하는 3D 시공간 합성곱 신경망(CNN)을 제안하며, 심실의 구멍과 심장근막 면적, 치수, 벽 두께, 심장 시기와 같은 좌심실(LV) 정량 지표를 직접 회귀하여 시간적 동적 특성을 활용함으로써 정확도를 향상시킨다. 이 방법은 기존의 RNN 기반 모델 대비 심장 시기 추정 오차를 8.2%에서 3.85%로 감소시켜 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Cardiovascular diseases are among the leading causes of death globally. Cardiac left ventricle (LV) quantification is known to be one of the most important tasks for the identification and diagnosis of such pathologies. In this paper, we propose a deep learning method that incorporates 3D spatio-temporal convolutions to perform direct left ventricle quantification from cardiac MR sequences. Instead of analysing slices independently, we process stacks of temporally adjacent slices by means of 3D convolutional kernels which fuse the spatio-temporal information, incorporating the temporal dynamics of the heart to the learned model. We show that incorporating such information by means of spatio-temporal convolutions into standard LV quantification architectures improves the accuracy of the predictions when compared with single-slice models, achieving competitive results for all cardiac indices and significantly breaking the state of the art (Xue et al., 2018, MedIA) for cardiac phase estimation.

연구 동기 및 목표

• 심장의 시간적 동적 특성을 통합함으로써 심장 MRI에서 좌심실 정량 정확도를 향상시키기.
• LV 지표 예측에서 시간적 맥락을 忽시하는 단일 단면 모델의 한계를 해결하기.
• 복잡한 RNN 기반 아키텍처를 더 단순한 3D 합성곱으로 대체하여 효율성과 성능을 향상시키기.
• 중간 단계의 세그먼테이션을 요구하지 않고도 MR 시퀀스에서 직접 심장 지표를 회귀하기.

제안 방법

• 모델은 이중 브랜치 CNN 아키텍처를 사용한다: 5x5 커널을 가진 인코더-CNN이 각 단면에서 특징을 추출한 후, 공간적 및 시간적 정보를 융합하기 위해 3D 시공간 합성곱을 적용한다.
• 시공간 합성곱은 κ개의 시간적으로 연속된 단면을 겹쳐 3D 볼륨으로 구성하고, κ=5일 때 3x5x5 및 2x5x5 크기의 3D 커널을 사용한다.
• 모든 인코더 및 시공간 모듈에서 활성화 함수로 ReLU와 배치 정규화를 사용하여 학습 안정성을 향상시킨다.
• 두 개의 병렬 회귀 브랜치를 사용한다: 하나는 연속적인 지표(치수, 벽 두께, 면적)를 위한 것이고, 다른 하나는 3D 합성곱과 2층의 완전 연결 신경망(MLP)을 거쳐 이진 심장 시기 분류를 위한 것이다.
• 순환적 데이터 증강 전략을 통해 시퀀스의 첫 번째와 마지막 단면을 시간적으로 인접한 것으로 간주하여 일반화 성능을 향상시킨다.
• 모델는 LVQuan 챌린지 2018 데이터셋을 사용하여 5개의 교차 검증 폴드로 학습 및 검증되며, 표준 평가 지표(MAE, PCC, 오차율)를 사용한다.

실험 결과

연구 질문

• RQ1 3D 시공간 합성곱을 통해 시간적 동적 특성을 통합하면 단일 단면 모델 대비 직접 LV 지표 회귀 정확도가 향상되는가?
• RQ2 3D CNN 기반 접근 방식은 복잡한 RNN 기반 모델 대비 심장 시기 추정에서 성능을 뛰어나게 하면서도 다른 지표 예측 성능을 유지하는가?
• RQ3 효율적인 시공간 특징 학습을 위해 포함할 적절한 시간적 인접 단면 수(κ)는 얼마인가?
• RQ4 복잡한 다중 작업 학습 또는 순환 구조 없이도 더 단순한 3D CNN 아키텍처로 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• 제안된 시공간 CNN은 LVQuan 챌린지 2018 데이터셋에서 심장 시기 추정 오차율을 기존 최고 기술 수준(8.2%)에서 3.85%로 크게 향상시켰다.
• LV 구멍과 심장근막 면적 예측에서 평균 절대 오차(MAE)는 각각 190±110 mm² 및 199±138 mm²를 기록했으며, 상관계수(PCC)는 0.93 이상을 확보했다.
• 방향성 치수 예측은 MAE 2.29±1.59 mm, PCC 0.960을 기록하여 기하학적 측정의 높은 정확도를 입증했다.
• 지역 벽 두께 예측은 평균 MAE 1.42±0.65 mm, PCC 0.819를 기록하여 미세 구조 지표에서 뛰어난 성능을 보였다.
• κ=5 단면을 사용할 경우 최적의 성능를 확보했으며, κ=7일 경우 유사한 결과를 보였지만 유의미한 향상 없이 더 높은 계산 비용을 유발하여 이 깊이에서 충분한 시간적 맥락이 포괄됨을 시사했다.
• 이전 연구보다 더 단순한 아키텍처로도 최신 기술 수준(SOTA) 성능을 달성했으며, 복잡한 RNN 및 베이지안 다중 작업 학습 대신 효율적인 3D 합성곱을 활용했다.