[논문 리뷰] Pancreas Segmentation in CT and MRI Images via Domain Specific Network Designing and Recurrent Neural Contextual Learning

Jinzheng Cai, Le Lü외 2명|arXiv (Cornell University)|2018. 03. 30.

Advanced Neural Network Applications참고 문헌 25인용 수 30

한 줄 요약

이 논문은 CT 및 MRI 스캔에서 췌장 분할을 위한 새로운 CNN-RNN 프레임워크를 제안한다. 도메인 특화 2D CNN과 이중 방향 컨volution형 LSTM(BiRNN)을 조합하여 단면 간 형태 연속성을 강화한다. 직접 Jaccard 손실을 사용해 엔드 투 엔드로 훈련함으로써, CT에서 83.7% ± 5.1, MRI에서 80.7% ± 7.4의 최신 기준(DSC)을 달성하여, 공간적 매끄러움과 소규모 데이터셋에서의 강건성을 향상시켜 기존 방법을 능가한다.

ABSTRACT

Automatic pancreas segmentation in radiology images, eg., computed tomography (CT) and magnetic resonance imaging (MRI), is frequently required by computer-aided screening, diagnosis, and quantitative assessment. Yet pancreas is a challenging abdominal organ to segment due to the high inter-patient anatomical variability in both shape and volume metrics. Recently, convolutional neural networks (CNNs) have demonstrated promising performance on accurate segmentation of pancreas. However, the CNN-based method often suffers from segmentation discontinuity for reasons such as noisy image quality and blurry pancreatic boundary. From this point, we propose to introduce recurrent neural networks (RNNs) to address the problem of spatial non-smoothness of inter-slice pancreas segmentation across adjacent image slices. To inference initial segmentation, we first train a 2D CNN sub-network, where we modify its network architecture with deep-supervision and multi-scale feature map aggregation so that it can be trained from scratch with small-sized training data and presents superior performance than transferred models. Thereafter, the successive CNN outputs are processed by another RNN sub-network, which refines the consistency of segmented shapes. More specifically, the RNN sub-network consists convolutional long short-term memory (CLSTM) units in both top-down and bottom-up directions, which regularizes the segmentation of an image by integrating predictions of its neighboring slices. We train the stacked CNN-RNN model end-to-end and perform quantitative evaluations on both CT and MRI images.

연구 동기 및 목표

• CT 및 MRI 스캔에서 높은 환자 간 해부학적 변동성과 흐릿한 췌장 경계로 인한 도전 과제를 해결하기 위해.
• 이미지 품질이 열 劣하거나 경계가 모호한 경우에도 인접한 단면 간 분할 정확도와 공간적 매끄러움을 향상시키기 위해.
• 제한된 훈련 데이터로도 잘 작동하는 컴act하고 엔드 투 엔드로 훈련 가능한 딥 러닝 모델을 개발하기 위해.
• 반복 네트워크를 활용해 인접한 단면 간의 맥락적 의존성을 모델링하여 형태 연속성을 향상시키기 위해.
• CT 및 MRI 데이터셋에서 기존 최신 기준 방법을 능가하는 췌장 분할 성능을 확보하기 위해.

제안 방법

• 소규모 데이터셋에서 초기 훈련 시 성능을 향상시키기 위해 깊은 감독과 다중 스케일 특징 집약을 갖춘 2D CNN 하위 네트워크를 설계한다.
• 상향 및 하향 CLSTM 유닛을 사용하여 양방향 컨volution형 LSTM(BiRNN) 모듈을 통합하여 인접한 단면 간 분할 일관성을 정규화한다.
• 엔드 투 엔드 훈련 중 직접 Jaccard(JAC) 손실 함수를 사용하여 임계값이 없는 고정밀도 확률 맵을 생성한다.
• CNN과 BiRNN 구성 요소를 통합된 CNN-RNN 아키텍처로 구성하여 특징 학습과 형태 정규화의 공동 최적화를 수행한다.
• CT 및 MRI 데이터셋에서 전체 모델을 엔드 투 엔드로 훈련하여 인접한 단면의 맥락 정보를 활용해 분할 출력을 정밀하게 보정한다.
• 3D CT 및 3D MRI 스캔에 모두 모델을 적용하며, 추론은 단면 단위로 수행되고 후처리를 통해 3D 볼륨 결과로 변환된다.

실험 결과

연구 질문

• RQ1 제한된 데이터에서 초기 훈련 시 다중 스케일 및 깊은 감독을 갖춘 도메인 특화 2D CNN이 췌장 분할 정확도를 향상시킬 수 있는가?
• RQ2 CLSTM를 통한 이중 방향 반복 맥락 학습을 통합함으로써 단면 간 형태 연속성이 현저히 향상되고 분할 불연속성이 감소하는가?
• RQ3 직접 Jaccard 손실 함수가 표준 교차 엔트로피 손실보다 더 정확하고 임계값이 없는 분할 출력을 생성하는 데 뛰어난가?
• RQ4 제안된 CNN-RNN 프레임워크는 CT 및 MRI 데이터셋에서 DSC 및 Jaccard 지수(JI) 측면에서 기존 최신 기준 방법보다 어떻게 비교되는가?
• RQ5 이미지 품질과 단면 두께가 상이한 다양한 영상 모odal 간에서 모델의 일반화 능력은 어느 정도인가?

주요 결과

• 제안된 PNet-MSA+BiRNN 모델은 CT 데이터셋에서 DSC 83.7% ± 5.1을 달성하여 이전 최신 기준인 81.3% ± 6.3을 초월했다.
• MRI 데이터셋에서는 DSC 80.7% ± 7.4를 기록하여 기존 그래프 기반 융합 방법에서의 최고 성능 76.1% ± 8.7를 뛰어넘었다.
• BiRNN 구성 요소는 더 매끄러운 3D 분할 표면과 세밀한 경계를 유지하는 명확한 확률 맵을 통해 단면 간 형태 연속성 향상이 뚜렷하게 나타났다.
• 제안된 아키텍처로 초기 훈련한 모델가 U-Net과 같은 더 큰 모델보다 우수한 성능을 보였으며, 이는 설계의 효과를 입증한다.
• 직접 Jaccard 손실을 사용함으로써 표준 교차 엔트로피 훈련 대비 더 강건하고 정확한 임계값이 없는 분할 출력을 확보했다.
• 낮은 표준편차를 기록하여 다양한 환자 해부학적 특성에 걸쳐 더 높은 수치적 안정성을 보였다.