[논문 리뷰] H-DenseUNet: Hybrid Densely Connected UNet for Liver and Liver Tumor Segmentation from CT Volumes

Xiaomeng Li, Hao Chen외 4명|arXiv (Cornell University)|2017. 09. 21.

Advanced Neural Network Applications참고 문헌 43인용 수 81

한 줄 요약

H-DenseUNet는 하이브리드 2D-3D 밀집 연결 U-Net 아키텍처를 제안하며, 2D 내부 슬라이스 특징 추출과 하이브리드 특징 융합 레이어를 통한 3D 간접 슬라이스 컨텍스트 집합을 통해 LiTS 및 3DIRCADb 데이터셋에서 간 및 간 종양 세그멘테이션에서 최신 기술 수준의 성능을 달성한다. 단일 모델로 구현된다.

ABSTRACT

Liver cancer is one of the leading causes of cancer death. To assist doctors in hepatocellular carcinoma diagnosis and treatment planning, an accurate and automatic liver and tumor segmentation method is highly demanded in the clinical practice. Recently, fully convolutional neural networks (FCNs), including 2D and 3D FCNs, serve as the back-bone in many volumetric image segmentation. However, 2D convolutions can not fully leverage the spatial information along the third dimension while 3D convolutions suffer from high computational cost and GPU memory consumption. To address these issues, we propose a novel hybrid densely connected UNet (H-DenseUNet), which consists of a 2D DenseUNet for efficiently extracting intra-slice features and a 3D counterpart for hierarchically aggregating volumetric contexts under the spirit of the auto-context algorithm for liver and tumor segmentation. We formulate the learning process of H-DenseUNet in an end-to-end manner, where the intra-slice representations and inter-slice features can be jointly optimized through a hybrid feature fusion (HFF) layer. We extensively evaluated our method on the dataset of MICCAI 2017 Liver Tumor Segmentation (LiTS) Challenge and 3DIRCADb Dataset. Our method outperformed other state-of-the-arts on the segmentation results of tumors and achieved very competitive performance for liver segmentation even with a single model.

연구 동기 및 목표

• 체적 간 세그멘테이션에서 2D 및 3D 완전 컨volution 네트워크의 한계를 해결하기 위해 그들의 강점을 융합하기 위해.
• 슬라이스 간 공간적 컨텍스트를 유지하면서 계산 비용과 GPU 메모리 사용량을 줄이기 위해.
• 3D 구성 요소를 통해 계층적 체적 컨텍스트를 활용하여 종양 세그멘테이션 정확도를 향상시키기 위해.
• 내부 슬라이스 및 간접 슬라이스 표현을 동시에 최적화하는 통합 모델의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 단일 모델을 사용하여 경쟁적인 간 세그멘테이션 성능과 최신 기술 수준의 종양 세그멘테이션 성능을 달성하기 위해.

제안 방법

• 네트워크는 개별 CT 슬라이스 내에서 효율적인 내부 슬라이스 특징 학습을 위해 2D DenseUNet 브랜치를 사용한다.
• 3D DenseUNet 브랜치는 다중 슬라이스에 걸친 체적 컨텍스트를 계층적으로 집계하기 위해 사용된다.
• 하이브리드 특징 융합(HFF) 레이어는 2D 및 3D 브랜치의 특징을 융합하여 공동 최적화를 가능하게 한다.
• HFF 레이어는 스킵 커넥션 동안 다중 스케일에서 2D 및 3D 특징을 융합함으로써 엔드 투 엔드 훈련을 가능하게 한다.
• 깊은 층에서 유도된 문맥적 특징을 사용하여 예측를 개선하는 자동 문맥 파라다임을 따르고 있다.
• 간 및 종양 세그멘테이션을 동시에 최적화하기 위해 병합된 손실 함수를 사용하여 엔드 투 엔드 방식으로 모델을 훈련시켰다.

실험 결과

연구 질문

• RQ1 하이브리드 2D-3D 밀집 U-Net 아키텍처가 순수 2D 또는 3D 네트워크보다 간 및 종양 세그멘테이션에서 우월한 성능을 보일 수 있는가?
• RQ2 하이브리드 특징 융합 레이어를 통해 내부 슬라이스 및 간접 슬라이스 특징을 융합하면 세그멘테이션 정확도가 향상되는가?
• RQ3 제안된 방법이 계산 효율성을 유지하면서 최신 기술 수준의 종양 세그멘테이션 성능을 달성할 수 있는가?
• RQ4 하이브리드 아키텍처의 엔드 투 엔드 훈련 방식이 체적 세그멘테이션에서 단계별 또는 계단식 접근 방식과 비교해 어떻게 성능을 낼 수 있는가?
• RQ5 3D 구성 요소가 메모리나 계산 비용을 크게 증가시키지 않으면서 문맥 모델링을 얼마나 향상시킬 수 있는가?

주요 결과

• H-DenseUNet는 MICCAI 2017 LiTS 챌린지에서 종양 세그멘테이션 분야에서 최신 기술 수준의 성능을 달성했다.
• 다이스 스코어 및 민감도를 포함한 다른 최신 기술 수준의 방법들보다 종양 세그멘테이션 지표에서 뛰어난 성능을 보였다.
• 앙상블 기법 없이도 단일 모델로도 경쟁적인 간 세그멘테이션 성능을 달성했다.
• 하이브리드 특징 융합 레이어는 2D 및 3D 특징을 효과적으로 융합하여 공동 최적화 및 향상된 특징 표현을 가능하게 했다.
• 3D 구성 요소는 체적 컨텍스트 모델링을 크게 향상시켜 종양 국소화 및 경계 정확도를 향상시켰다.
• 순수 3D FCNs에 비해 낮은 계산 비용과 GPU 메모리 사용량을 유지하여 임상 적용에 실용적이었다.