[논문 리뷰] H-DenseUNet: Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volumes

Xiaomeng Li, Hao Chen외 4명|arXiv (Cornell University)|2017. 09. 21.

Advanced Neural Network Applications인용 수 106

한 줄 요약

하이브리드 2D-3D DenseUNet (H-DenseUNet)을 제안하여 깊은 2D DenseUNet으로 슬라이스 내 특징과 3D DenseUNet으로 슬라이스 간 맥락을 결합하고 엔드투엔드로 융합하여 CT 부피에서 간 및 종양 분할을 개선합니다.

ABSTRACT

Liver cancer is one of the leading causes of cancer death. To assist doctors in hepatocellular carcinoma diagnosis and treatment planning, an accurate and automatic liver and tumor segmentation method is highly demanded in the clinical practice. Recently, fully convolutional neural networks (FCNs), including 2D and 3D FCNs, serve as the back-bone in many volumetric image segmentation. However, 2D convolutions can not fully leverage the spatial information along the third dimension while 3D convolutions suffer from high computational cost and GPU memory consumption. To address these issues, we propose a novel hybrid densely connected UNet (H-DenseUNet), which consists of a 2D DenseUNet for efficiently extracting intra-slice features and a 3D counterpart for hierarchically aggregating volumetric contexts under the spirit of the auto-context algorithm for liver and tumor segmentation. We formulate the learning process of H-DenseUNet in an end-to-end manner, where the intra-slice representations and inter-slice features can be jointly optimized through a hybrid feature fusion (HFF) layer. We extensively evaluated our method on the dataset of MICCAI 2017 Liver Tumor Segmentation (LiTS) Challenge and 3DIRCADb Dataset. Our method outperformed other state-of-the-arts on the segmentation results of tumors and achieved very competitive performance for liver segmentation even with a single model.

연구 동기 및 목표

• CT 부피에서 간 및 간 종양 분할의 정확성을 향상시키기 위해 슬라이스 내 맥락 정보와 슬라이스 간 맥락 정보를 모두 활용하는 도전 과제를 다룬다.
• 순수한 2D 또는 3D FCN의 한계를 극복하기 위해 2D 슬라이스 내 특징과 3D 부피 맥 context를 효율적으로 융합하는 하이브리드 아키텍처를 제안한다.
• 향상된 분할 정확도를 위해 2D 내부 슬라이스 표현과 슬라이스 간 특징을 공동으로 학습하도록 엔드투엔드 최적화를 달성한다.
• LiTS 및 3DIRCADb 데이터세트에서 최첨단 성능을 입증하고 경쟁력 있는 결과를 보인다.

제안 방법

• 깊은 연결성과 UNet 스타일 스킵 연결을 갖춘 매우 깊은 2D DenseUNet (DenseUNet-167)를 설계하여 슬라이스 내 풍부한 특징을 추출한다.
• 메모리 및 계산량을 줄이면서 부피 맥 context를 캡처하기 위해 더 가벼운 3D DenseUNet (DenseUNet-65)를 도입한다.
• 엔드투엔드 방식으로 융합된 내부-슬라이스 및 인터-슬라이스 특징을 공동으로 최적화하는 하이브리드 특징 융합(HFF) 레이어를 개발한다.
• 2D DenseUNet의 출력이 3D DenseUNet의 학습을 안내하는 자동-맥 context 학습 방식에 영감을 받은 학습 체계를 사용한다.
• 가중치 교차 엔트로피 손실로 학습하되 ROI 내에서 먼저 거친 간 분할 단계를 수행하고 그 후에 세밀한 병변 분할을 수행한다.
• 수렴 속도를 높이기 위해 2D 인코더 가중치를 사전 학습된 DenseNet 가중치로 초기화하는 전이 학습을 적용한다.

실험 결과

연구 질문

• RQ1 깊은 2D 내부 슬라이스 표현과 3D 인터-슬라이스 맥 context를 하이브리드 융합으로 통합하는 것이 순수 2D 또는 3D FCN보다 간과 병변 분할을 향상시킬 수 있는가?
• RQ2 하이브리드 특징의 엔드투엔드 공동 최적화가 LiTS 및 3DIRCADb 데이터세트에서 별도 또는 순차 학습보다 더 나은 성능을 낳는가?
• RQ3 사전 학습 가중치와 UNet 스타일의 스킵 연결이 간 및 병변의 분할 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 LiTS 및 3DIRCADb에서 최첨단 방법과 비교할 때 정확도와 효율성 측면에서 어떤 성능을 보이는가?

주요 결과

• H-DenseUNet은 LiTS 대회에서 병변(종양) 분할 성능이 우수하고 간 분할 결과도 경쟁력 있으며, 제거 연구에서 여러 베이스라인을 능가했다.
• 비롯치에서 2D DenseUNet이 사전 학습 및 UNet 연결을 통한 성능이 3D DenseUNet 및 일반 2D DenseNet보다 우수하다는 점이 확인되며, 깊은 2D 내부 슬라이스 특징과 스킵 연결의 가치를 강조한다.
• 하이브리드 특징 융합(HFF) 레이어는 2D 또는 3D 네트워크를 단독으로 사용할 때보다 더 나은 수렴과 더 낮은 손실을 낳아 내부-슬라이스와 인터-슬라이스 정보를 통합하는 이점을 확인했다.
• 하이브리드 구조로의 엔드투엔드 학습은 3D DenseUNet만 학습하는 경우에 비해 훈련 시간이 약 60시간에서 약 30시간으로 줄어들면서 Dice 점수가 향상된다.
• LiTS에서 제안된 학습 및 융합 전략과 함께 H-DenseUNet은 병변 분할에서 1위를 차지하고 간 분할 성능은 매우 경쟁력 있다.
• 2D 인코더를 위한 사전 학습 DenseNet 가중치를 활용한 전이 학습은 수렴 속도를 가속하고 최종 정확도를 향상시킨다.