[논문 리뷰] Full Quantification of Left Ventricle via Deep Multitask Learning Network Respecting Intra- and Inter-Task Relatedness

Wufeng Xue, Andrea Lum외 4명|arXiv (Cornell University)|2017. 06. 06.

Radiomics and Machine Learning in Medical Imaging참고 문헌 15인용 수 32

한 줄 요약

이 논문은 CNN-RNN 아키텍처를 사용하여 내부 및 외부 작업 간의 연관성을 공동으로 모델링함으로써 좌심실(LV) 지표—면적, 국소 벽 두께, 치수, 심장 시기—를 동시에 정량화하는 딥 뮤틸태스크 학습 네트워크인 FullLVNet을 제안한다. 내부 작업 관련성에 대한 그룹 라소 정규화와 시간적 일관성을 위한 시기 유도 제약 조건을 적용함으로써 FullLVNet은 최신 기술 수준(SOTA)의 정확도를 달성하였으며, 145명의 MR 환자에서 국소 벽 두께의 평균 절대 오차(MAE)는 1.41 mm, 치수의 MAE는 2.68 mm, 면적의 MAE는 190 mm², 시기 분류 오차율은 10.4%를 기록하였다.

ABSTRACT

Cardiac left ventricle (LV) quantification is among the most clinically important tasks for identification and diagnosis of cardiac diseases, yet still a challenge due to the high variability of cardiac structure and the complexity of temporal dynamics. Full quantification, i.e., to simultaneously quantify all LV indices including two areas (cavity and myocardium), six regional wall thicknesses (RWT), three LV dimensions, and one cardiac phase, is even more challenging since the uncertain relatedness intra and inter each type of indices may hinder the learning procedure from better convergence and generalization. In this paper, we propose a newly-designed multitask learning network (FullLVNet), which is constituted by a deep convolution neural network (CNN) for expressive feature embedding of cardiac structure; two followed parallel recurrent neural network (RNN) modules for temporal dynamic modeling; and four linear models for the final estimation. During the final estimation, both intra- and inter-task relatedness are modeled to enforce improvement of generalization: 1) respecting intra-task relatedness, group lasso is applied to each of the regression tasks for sparse and common feature selection and consistent prediction; 2) respecting inter-task relatedness, three phase-guided constraints are proposed to penalize violation of the temporal behavior of the obtained LV indices. Experiments on MR sequences of 145 subjects show that FullLVNet achieves high accurate prediction with our intra- and inter-task relatedness, leading to MAE of 190mm$^2$, 1.41mm, 2.68mm for average areas, RWT, dimensions and error rate of 10.4\% for the phase classification. This endows our method a great potential in comprehensive clinical assessment of global, regional and dynamic cardiac function.

연구 동기 및 목표

• 심장 MR 영상에서 면적, 국소 벽 두께, 치수, 심장 시기 등을 포함한 좌심실(LV) 지표의 종합적 정량화 과제를 해결하기 위해.
• 기존 방법의 한계—약한 특징 표현, 시간 모델링 부족, 종단 간 학습 부재—를 극복하기 위해 통합된 딥 러닝 프레임워크를 설계하기 위해.
• 각 회귀 작업 내부의 관련성(내부 작업 관련성)과 다양한 LV 지표 간의 관련성(외부 작업 관련성)을 명시적으로 모델링하여 모델의 일반화 능력과 수렴 성능를 향상시키기 위해.
• 수동 세그멘테이션에 의존하지 않고 전반적, 국소적, 동적 심장 기능을 종합적으로 자동 평가할 수 있도록 하기 위해.

제안 방법

• FullLVNet은 단축축 심장 MR 영상에서 임베딩된 작업 인식 특징을 추출하기 위해 딥 컨volution 네트워크(CNN)를 사용한다.
• 두 개의 병렬 순환 신경망(RNN) 모듈을 사용하여 심장 사이클에 걸친 시간 역학을 모델링하고 LV 지표 변화의 일관성을 유지한다.
• 세 가지 LV 면적/치수/RWT 회귀 헤드와 하나의 분류 헤드를 통해 각각 LV 지표를 추정한다.
• 각 회귀 작업 내부에서 그룹 라소 정규화를 적용하여 희박한 공유 특징 선택을 강제하고 내부 작업 일관성을 향상시킨다.
• 시간적 행동의 기대치를 위반하는 것을 방지하기 위해 세 가지 시기 유도 제약 조건을 도입하여 외부 작업 관련성을 모델링한다(예: 수축기 동안 심실 낭창 면적이 감소함).
• 이중 단계 학습 전략을 사용한다: 첫 번째 단계에서는 시기 분류기에서 역전파 없이 CNN, 첫 번째 RNN 및 회귀 헤드를 학습하고, 두 번째 단계에서는 이전 레이어를 동결한 상태에서 두 번째 RNN 및 분류기를 피지테이닝한다.

실험 결과

연구 질문

• RQ1 단일 작업 또는 정규화되지 않은 뮤틸태스크 방법보다 더 높은 정확도로 면적, 국소 벽 두께, 치수, 심장 시기를 포함한 다수의 LV 지표를 공동 예측할 수 있는 딥 뮤틸태스크 학습 프레임워크가 존재하는가?
• RQ2 그룹 라소 정규화를 통한 내부 작업 관련성 모델링이 LV 지표의 회귀 예측의 일반화 능력과 일관성에 어떤 영향을 미치는가?
• RQ3 시기 유도 시간 제약 조건이 심장 사이클 전반에 걸쳐 예측된 LV 지표의 시간적 타당성과 정확도를 어느 정도 향상시키는가?
• RQ4 특징 추출, 시간 모델링, 회귀를 공동 최적화하는 종단 간 학습이 계단식 또는 수작업 특징 접근 방식보다 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• FullLVNet은 국소 벽 두께의 평균 절대 오차(MAE)가 1.41 ± 0.72 mm로, 기준 방법 [19]의 1.73 ± 0.97 mm보다 유의미하게 뛰어나다.
• LV 치수의 MAE는 2.68 ± 1.64 mm이며, 내부 전용 정규화(2.69 ± 1.67 mm)에서 내부 및 외부 정규화를 모두 적용한 경우(2.68 ± 1.64 mm)로 향상된다.
• LV 면적의 MAE는 190 ± 128 mm²이며, 내부 및 외부 작업 관련성 모두를 모델링했을 때 가장 낮은 오차를 기록한다.
• 내부 및 외부 작업 관련성을 모두 사용할 경우 시기 분류 오차율은 10.4%로 감소하였으며, 기준 방법의 22.2%에 비해 향상되었다.
• 제거 실험 결과, 그룹 라소(내부 작업)와 시기 유도 제약 조건(외부 작업)이 성능 향상에 기여하며, 후자는 중간 정도이지만 일관된 개선 효과를 보였다.
• 이중 단계 학습 전략은 최적화를 안정화시키고 모든 작업에서 뛰어난 수렴 및 일반화 성능을 이끌어냈다.