[논문 리뷰] Joint Sequence Learning and Cross-Modality Convolution for 3D Biomedical Segmentation

Kuan-Lun Tseng, Yen-Liang Lin외 2명|arXiv (Cornell University)|2017. 04. 25.

Medical Imaging and Analysis참고 문헌 21인용 수 25

한 줄 요약

이 논문은 3D 생물의학 영상 분할을 위해 다중모달 MRI 특징을 교차 모odal 컨볼루션을 통해 공동으로 학습하고, 2D 슬라이스 간의 순차적 의존성을 컨볼루션 LSTM을 사용하여 모델링하는 엔드 투 엔드 딥 인코더-디코더 네트워크를 제안한다. 이 방법은 BRATS-2015 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 두 단계 훈련과 클래스 불균형 처리를 위한 재가중 기법을 사용하여 mIoU(중첩 평균)가 73.52%에 도달한다.

ABSTRACT

Deep learning models such as convolutional neural net- work have been widely used in 3D biomedical segmentation and achieve state-of-the-art performance. However, most of them often adapt a single modality or stack multiple modalities as different input channels. To better leverage the multi- modalities, we propose a deep encoder-decoder structure with cross-modality convolution layers to incorporate different modalities of MRI data. In addition, we exploit convolutional LSTM to model a sequence of 2D slices, and jointly learn the multi-modalities and convolutional LSTM in an end-to-end manner. To avoid converging to the certain labels, we adopt a re-weighting scheme and two-phase training to handle the label imbalance. Experimental results on BRATS-2015 show that our method outperforms state-of-the-art biomedical segmentation approaches.

연구 동기 및 목표

• 다양한 조직 반응을 반영하는 다중모달 MRI 데이터(T1, T1c, T2, FLAIR)를 효과적으로 융합하여 3D 생물의학 영상 분할 성능을 향상시키는 것.
• 연속된 2D MRI 슬라이스 간의 공간적 및 순차적 상관관계를 모델링하여 3D 볼륨 전반에 걸친 구조적 연속성을 유지하는 것.
• 특히 정상 조직(라벨 0)에 대해 심각한 클래스 불균형 문제를 해결하기 위해 재가중 기법과 두 단계 훈련 전략을 도입하는 것.
• 다양한 해상도에서 서로 다른 MRI 모달 간 특징 융합을 가능하게 하는 새로운 교차 모달 컨볼루션 레이어를 개발하는 것.
• 통합된 딥 러닝 프레임워크 내에서 다중모달 특징 융합과 시퀀스 모델링을 엔드 투 엔드로 최적화하는 것.

제안 방법

• 다중모달 인코더는 T1, T1c, T2, FLAIR와 같은 각 MRI 모달을 별도의 2D 컨볼루션 네트워크로 처리하여 깊이 있는 의미적 특징을 추출한다.
• 새로운 교차 모달 컨볼루션(CMC) 레이어는 공유된 공간 위치에서 모달별 상호작용을 학습하여 서로 다른 모달의 특징을 융합한다.
• 연속된 2D 슬라이스 시퀀스에 컨볼루션 LSTM 레이어를 적용하여 인접한 슬라이스 간의 장거리 공간적 및 시간적 의존성을 모델링한다.
• 인코더-디코더 아키텍처는 전치 컨볼루션을 사용하여 최종 특징 맵을 복원하여 원본 해상도에서 3D 분할을 재구성한다.
• 두 단계 훈련 전략을 적용: 첫 번째 단계에서는 표준 교차 엔트로피로 모델을 훈련하고, 두 번째 단계에서는 클래스 가중치를 재계산하여 정규화되지 않은 클래스(예: 정상 조직)에 대한 성능 향상을 도모한다.
• 다중 해상도 융합(MRF) 전략은 다양한 인코더 단계의 특징을 융합하여 공간적 세부 정보를 유지하고 분할 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 2D 또는 3D CNN과 비교할 때, 다중모달 MRI 데이터와 순차적 슬라이스 의존성의 공동 모델링이 3D 생물의학 영상 분할 성능 향상에 기여하는가?
• RQ2 간단한 채널 스택킹 방식과 비교해 별도의 교차 모달 컨볼루션 레이어가 T1, T1c, T2, FLAIR와 같은 다양한 MRI 시퀀스 간 특징 융합에 기여하는가?
• RQ3 시퀀스 학습을 위한 컨볼루션 LSTM을 통합할 경우, 해부학적 변화가 급격한 영역에서 분할 정확도 향상 정도는 어느 정도인가?
• RQ4 재가중 기법과 두 단계 훈련 전략이 종양 분할에서 심각한 클래스 불균형, 특히 정상 조직에 대해 효과적으로 영향을 완화하는가?
• RQ5 제안된 엔드 투 엔드 프레임워크가 U-Net과 같은 기존 최신 기술 수준(SOTA) 방법보다 벤치마크 3D 분할 작업에서 일관되게 슈퍼리어한 성능을 내는가?

주요 결과

• 제안된 방법은 BRATS-2015 데이터셋에서 mIoU(중첩 평균)가 73.52%로, U-Net 및 기타 최신 기술 수준(SOTA) 방법을 능가한다.
• 교차 모달 컨볼루션(CMC)의 포함으로 인해, 채널 스택킹 방식을 사용하는 기본 인코더-디코더 모델 대비 mIoU가 약 2% 향상되었다.
• 다중 해상도 융합(MRF) 전략은 기본 인코더-디코더 대비 성능을 10% 향상시켜 다양한 스케일에서 특징 융합의 가치를 입증한다.
• 두 단계 훈련은 라벨 0(정상 조직)의 정확도를 크게 향상시켜 mIoU에 결정적인 영향을 미치며, 더 깔끔하고 일관성 있는 분할 맵을 생성한다.
• 컨볼루션 LSTM 구성 요소는 BRATS-2015 및 CamVid 데이터셋 전반에서 일관되게 성능 향상을 보이며, 순차적 슬라이스 의존성 모델링의 효과성을 확인한다.
• 시각적 결과에서는 복잡한 종양 경계와 소형 구조에 대해 더 정확하고 세밀한 예측을 생성하며, 특히 두 단계 훈련 이후에 그 성능 향상이 두드러진다.