[논문 리뷰] Improving Deep Pancreas Segmentation in CT and MRI Images via Recurrent Neural Contextual Learning and Direct Loss Function

Jinzheng Cai, Le Lü외 3명|arXiv (Cornell University)|2017. 07. 16.

Advanced Neural Network Applications참고 문헌 15인용 수 130

한 줄 요약

이 논문은 CT 및 MRI에서 췌장의 분할 질을 직접 최적화하기 위해 컨볼루션 LSTM 기반의 컨텍스추얼 정규화와 자카드 손실(Jaccard Loss)을 도입하여 최첨단 결과를 달성한다.

ABSTRACT

Deep neural networks have demonstrated very promising performance on accurate segmentation of challenging organs (e.g., pancreas) in abdominal CT and MRI scans. The current deep learning approaches conduct pancreas segmentation by processing sequences of 2D image slices independently through deep, dense per-pixel masking for each image, without explicitly enforcing spatial consistency constraint on segmentation of successive slices. We propose a new convolutional/recurrent neural network architecture to address the contextual learning and segmentation consistency problem. A deep convolutional sub-network is first designed and pre-trained from scratch. The output layer of this network module is then connected to recurrent layers and can be fine-tuned for contextual learning, in an end-to-end manner. Our recurrent sub-network is a type of Long short-term memory (LSTM) network that performs segmentation on an image by integrating its neighboring slice segmentation predictions, in the form of a dependent sequence processing. Additionally, a novel segmentation-direct loss function (named Jaccard Loss) is proposed and deep networks are trained to optimize Jaccard Index (JI) directly. Extensive experiments are conducted to validate our proposed deep models, on quantitative pancreas segmentation using both CT and MRI scans. Our method outperforms the state-of-the-art work on CT [11] and MRI pancreas segmentation [1], respectively.

연구 동기 및 목표

• CT 및 MRI에서의 췌장 분할의 정확도 향상을 위한 동기화
• 오버피팅을 피하고 효율성을 높이기 위해 From-scratch로 학습된 소형 CNN 개발
• 인접 슬라이스 간 컨텍스트 정규화를 위한 합성곱 LSTM을 통한 슬라이스 간 일관성 강화
• 학습 중 Jaccard Index를 직접 최적화하는 분할-direct 손실(Jaccard Loss) 도입
• 4배 교차 검증으로 NIH-CT-82 및 MRI-79 데이터셋에서 성능 향상 시연

제안 방법

• Scale 블록으로 구성된 CBR(Convolution-BatchNorm-ReLU) 유닛과 보조 손실로 설계된 소형 CNN
• 이웃 슬라이스 간 컨텍스트 학습을 수행하기 위해 CNN 출력에 CLSTM 모듈 부착
• CNN과 CLSTM를 공동으로 미세 조정하기 위해 SGD로 네트워크를 엔드투엔드로 학습
• 훈련 중 Jaccard Loss를 도입하여 임계값 없이 Jaccard Index를 직접 최적화
• JACLoss와 컨텍스추얼 모델을 CT 및 MRI 데이터셋에서 비교하여 베이스라인 대비 이득 평가

실험 결과

연구 질문

• RQ1 슬라이스별 2D 모델에 비해 슬라이스 간 순환 컨텍스트 학습을 갖춘 CNN이 췌장 분할의 일관성을 향상시킬 수 있는가?
• RQ2 Jaccard Loss를 직접 최적화하는 것이 교차 엔트로피 손실보다 임계값 없이 더 강건한 분할을 제공하는가?
• RQ3 CT 및 MRI에서 CLSM 구성을 64대 128 채널로 다르게 두었을 때의 영향은 무엇인가?
• RQ4 제안한 방법이 NIH-CT-82 및 UFL-MRI-79 데이터셋에서 최첨단 방법과 비교하여 어떤 성능을 보이는가?
• RQ5 이 접근법이 다른 3D 장기 분할 작업에 일반화될 수 있는가?

주요 결과

Method	NIH-CT82 DSC (%)	NIH-CT82 JI (%)	MRI-79 DSC (%)	MRI-79 JI (%)
UNet	79.7 ± 7.6 [43.4,89.3]	66.8 ± 9.60 [27.7,80.7]	79.9 ± 7.30 [54.8,90.5]	67.1 ± 9.50 [37.7,82.6]
HNN	79.6 ± 7.7 [41.9,88.0]	66.7 ± 9.40 [26.5,78.6]	75.9 ± 10.1 [33.0,86.8]	62.1 ± 11.3 [19.8,76.6]
JAC-64	80.3 ± 9.0 [35.8,90.2]	67.9 ± 10.9 [21.8,82.1]	76.3 ± 12.9 [6.30,88.8]	63.1 ± 14.0 [3.30,79.9]
JAC-128	81.5 ± 7.2 [56.3,90.1]	69.3 ± 9.50 [39.2,82.0]	80.5 ± 6.70 [59.1,89.4]	67.9 ± 8.90 [41.9,80.9]
RNN-64	82.3 ± 6.7 [49.8,90.2]	70.4 ± 8.60 [33.1,82.2]	78.1 ± 9.40 [39.5,90.0]	64.9 ± 11.4 [24.6,81.8]
RNN-128	82.4 ± 6.7 [60.0,90.1]	70.6 ± 9.00 [42.9,81.9]	80.4 ± 6.60 [58.9,90.0]	67.7 ± 8.70 [41.8,81.8]
Roth et al., [12]	81.3 ± 6.3 [50.6,88.9]	68.8 ± 8.12 [33.9,80.1]	-	-
Zhou et al., [18]	82.3 ± 5.6 [62.4,90.8]	-	-	-
Cai et al., [1]	-	-	76.1 ± 8.7 [47.4,87.1]	-

• CLSTM을 통한 컨텍스추얼 정규화가 비컨텍스추얼 기준선 대비 평균 DSC를 CT-82에서 약 2.0 포인트, CT-128 변형에서 0.9 포인트 향상시킴
• MRI-79에서 RNN-64는 JAC-64 대비 DSC를 1.8포인트 향상; RNN-128이 전반적으로 최상의 결과를 달성
• Jaccard Loss는 임계값 전 범위에서 평균 DSC를 가장 높게 나타내고 전경/배경의 균형을 교차 엔트로피 변형보다 잘 맞춤
• JAC-128은 MRI-79에서 최상의 결과를 달성했고, NIH-CT-82에서 RNN-128이 최상의 결과를 달성
• 제안된 JACLoss와 컨텍스추얼 학습 접근법은 두 데이터셋에서 Dice 및 Jaccard 점수 측면에서 경쟁력 있거나 우수한 성능을 보임