[논문 리뷰] Shape Constrained CNN for Cardiac MR Segmentation with Simultaneous Prediction of Shape and Pose Parameters

Sofie Tilborghs, Tom Dresselaers외 3명|arXiv (Cornell University)|2020. 10. 18.

Advanced Neural Network Applications참고 문헌 17인용 수 8

한 줄 요약

이 논문은 통계적 형태 모델에서 유도된 형태 제약을 가진 컨볼루션 네트워크를 제안하며, 동시에 심장 좌심실(LV) 형태와 자세 파라미터를 회귀하고, 서명된 거리 지도를 통한 분할 예측을 수행한다. 학습된 계수를 통한 형태 사전 지식 통합과 다중 작업 손실을 통한 분할 일致성 강제로, LV 및 심장판 분할에서 최신 기술 수준의 정확도를 달성하였다. 내부 데이터셋에서 LV 면적에 대해 99%의 상관관계와 국소 벽 두께에 대해 88%의 상관관계를 기록하였으며, 공개 벤치마크에서도 뛰어난 성능을 보였다.

ABSTRACT

Semantic segmentation using convolutional neural networks (CNNs) is the state-of-the-art for many medical segmentation tasks including left ventricle (LV) segmentation in cardiac MR images. However, a drawback is that these CNNs lack explicit shape constraints, occasionally resulting in unrealistic segmentations. In this paper, we perform LV and myocardial segmentation by regression of pose and shape parameters derived from a statistical shape model. The integrated shape model regularizes predicted segmentations and guarantees realistic shapes. Furthermore, in contrast to semantic segmentation, it allows direct calculation of regional measures such as myocardial thickness. We enforce robustness of shape and pose prediction by simultaneously constructing a segmentation distance map during training. We evaluated the proposed method in a fivefold cross validation on a in-house clinical dataset with 75 subjects containing a total of 1539 delineated short-axis slices covering LV from apex to base, and achieved a correlation of 99% for LV area, 94% for myocardial area, 98% for LV dimensions and 88% for regional wall thicknesses. The method was additionally validated on the LVQuan18 and LVQuan19 public datasets and achieved state-of-the-art results.

연구 동기 및 목표

• 표준 CNN이 형태 제약을 명시적으로 포함하지 않아 비현실적이거나 분리되거나 누락된 영역을 생성하는 경향이 있다는 한계를 해결한다.
• 형태 계수를 회귀함으로써 통계적 형태 모델을 사전으로 통합함으로써 분할의 강건성과 해부학적 타당성을 향상시킨다.
• 형태 모델의 파라미터를 활용해 심장판 두께 및 국소 벽 두께와 같은 국소 심장 지표를 직접 정확하게 계산할 수 있도록 한다.
• 거리 지도 회귀를 통한 의미 분할과 함께 자세 및 형태 예측을 동시에 학습시켜 일반화 능력과 강건성을 향상시킨다.
• 공개 심장 MRI 분할 도전 과제(LVQuan18/19)에서 최신 기술 수준의 성능을 달성하면서도 해부학적 타당성을 유지한다.

제안 방법

• 정규화된 랜드마크 기반 심장판 윤곽에 대해 주성분 분석(PCA)을 적용하여 2D 단축축 심장 MRI에서 통계적 형태 모델을 구축한다.
• 모든 LV 형태를 첫 12개 주성분에서 유도된 12개의 형태 계수 (b1,p, ..., b12,p)로 표현하며, 이는 형태 변동의 99% 이상를 설명한다.
• 형태 계수 추정의 일관성을 확보하기 위해 형태를 정규화하는 데 사용되는 자세 파라미터 (θp, cx,p, cy,p)를 동시에 회귀한다.
• 내피막 및 외피막에 대한 서명된 거리 지도(Dp)를 회귀하여 의미 분할을 수행하며, 시그모이드 함수를 사용해 거리 지도에서 직접 분할을 유도한다.
• 형태의 MSE, 자세의 MSE, 이진화된 거리 지도에 대한 Dice와 MSE의 가중 합을 포함하는 다중 작업 손실을 사용해 네트워크를 엔드 투 엔드로 학습시킨다.
• 학습 중에 포즈(위치, 방향) 및 형태 계수를 변형하여 온라인 데이터 증강을 적용하며, 이에 따라 이미지 및 거리 지도는 투명판 스플라인 및 삼차 스플라인 보간을 통해 재생성된다.

실험 결과

연구 질문

• RQ1 통계적 형태 모델에서 형태 및 자세 파라미터를 동시에 회귀하는 것이 표준 의미 분할 대비 심장 MRI에서 분할 정확도와 해부학적 타당성을 향상시키는가?
• RQ2 거리 지도 회귀를 통한 분할 통합과 복합 손실 함수를 적용함으로써 강건성 향상과 분리되거나 비현실적인 분할 감소 효과가 있는가?
• RQ3 포즈 및 형태 계수의 온라인 데이터 증강이 미리 보지 않은 데이터에 대한 일반화 능력과 성능 향상에 얼마나 기여하는가?
• RQ4 예측된 형태 계수를 통해 심장판 두께 및 국소 벽 두께와 같은 국소 심장 지표를 직접 정확하게 계산할 수 있는가?
• RQ5 공개 심장 MRI 분할 벤치마크(LVQuan18/19)에서 제안된 방법이 분할 및 파라미터 추정 정확도 측면에서 최신 기술 수준의 접근법과 비교해 어떻게 성능을 내는가?

주요 결과

• 내부 데이터셋(75명, 1539장의 단축축 슬라이스)에서 이 방법은 좌심실(LV) 면적에 대해 99%의 상관관계, 심장판 면적에 대해 94%, LV 치수에 대해 98%, 국소 벽 두께에 대해 88%의 상관관계를 기록하였다.
• LVQuan18 도전 과제 데이터셋에서 이 방법은 LV 면적에 대해 평균 절대 오차(MAE) 92 mm², 심장판 면적에 대해 121 mm², LV 치수에 대해 1.52 mm, 상대 벽 두께(RWT)에 대해 1.01 mm를 기록하였으며, LV 면적과 심장판 면적에서 LVQuan18 도전 과제의 수상자보다 뛰어난 성능을 보였다.
• LVQuan19 도전 과제 데이터셋에서 이 방법은 LV 면적에 대해 MAE 134 mm², 심장판 면적에 대해 201 mm², LV 치수에 대해 2.10 mm, RWT에 대해 1.78 mm를 기록하였으며, 대부분의 지표에서 도전 과제의 상위 참가자들보다 높은 상관계수(ρ)를 기록하였다.
• 의미 분할과 데이터 증강을 모두 추가함으로써 형태 계수 회귀 성능이 크게 향상되어 랜드마크 예측 오차가 1.44 mm로 감소하였으며(분할 없이 2.10 mm, 증강 없이 1.85 mm 대비), 이는 유의미한 개선이다.
• 표준 의미 분할에 Dice 손실을 사용할 경우 발생할 수 있는 분리되거나 누락된 영역이 없었으며, 이는 형태 모델의 내재된 제약 덕분이었다.
• 국소 지표 추정 성능이 뛰어나, 국소 벽 두께의 상관계수는 88%였고, LVQuan18에서 LV 치수의 MAE는 1.52 mm였으며, 기준 방법 [11]에 비해 유의미한 성능 향상을 보였다.