[논문 리뷰] Context-aware PolyUNet for Liver and Lesion Segmentation from Abdominal CT Images

Liping Zhang, Simon C.H. Yu|arXiv (Cornell University)|2021. 06. 21.

Advanced Neural Network Applications참고 문헌 17인용 수 4

한 줄 요약

이 논문은 복부 CT 영상에서 정확한 간 및 간 병변 분할을 위해 다항 방식으로 연결된 다중 경로와 연속된 t-인접 슬라이스를 활용하여 공간적 맥락을 향상시키면서 GPU 메모리 사용을 줄이는 맥락 인식 PolyUNet을 제안한다. 줌아웃/줌인 및 이중 단계 보정 전략을 통해 단일 모델로 최신 기술 수준의 성능을 달성하였으며, MICCAI 2017 LiTS 챌린지에서 간 분할 3위, 병변 탐지 2위, 병변 분할 12위, 종양 부피 추정 5위를 기록하였다.

ABSTRACT

Accurate liver and lesion segmentation from computed tomography (CT) images are highly demanded in clinical practice for assisting the diagnosis and assessment of hepatic tumor disease. However, automatic liver and lesion segmentation from contrast-enhanced CT volumes is extremely challenging due to the diversity in contrast, resolution, and quality of images. Previous methods based on UNet for 2D slice-by-slice or 3D volume-by-volume segmentation either lack sufficient spatial contexts or suffer from high GPU computational cost, which limits the performance. To tackle these issues, we propose a novel context-aware PolyUNet for accurate liver and lesion segmentation. It jointly explores structural diversity and consecutive t-adjacent slices to enrich feature expressive power and spatial contextual information while avoiding the overload of GPU memory consumption. In addition, we utilize zoom out/in and two-stage refinement strategy to exclude the irrelevant contexts and focus on the specific region for the fine-grained segmentation. Our method achieved very competitive performance at the MICCAI 2017 Liver Tumor Segmentation (LiTS) Challenge among all tasks with a single model and ranked the $3^{rd}$, $12^{th}$, $2^{nd}$, and $5^{th}$ places in the liver segmentation, lesion segmentation, lesion detection, and tumor burden estimation, respectively.

연구 동기 및 목표

• 대조 강화 복부 CT 영상에서 저대비 조직, 잡음, 영상 변동성으로 인해 어려운 정확한 자동 간 및 병변 분할 문제를 해결하기 위해.
• 기존 2D 및 3D UNet 기반 방법의 한계를 극복하기 위해, 충분한 공간적 맥락이 부족하거나 높은 계산 비용과 GPU 메모리 사용을 유발하는 문제를 해결하기 위해.
• 다양한 경로를 다항 조합으로 통합하여 구조적 다양성을 도입하고, 연속된 슬라이스로부터 시간-공간 맥락을 활용하여 특징 표현 및 분할 정확도를 향상시키기 위해.
• 줌아웃/줌인 메커니즘과 이중 단계 보정 전략을 통해 관련 없는 주변 맥락을 제거하고 대상 영역에 집중하여 분할 결과를 보정하기 위해.

제안 방법

• 제안된 맥락 인식 PolyUNet는 다항 조합으로 연결된 다중 병렬 경로를 통합하여 깊이와 너비를 넘는 특징 표현 능력을 향상시킨다.
• 저수준 및 고수준 특징을 결합하기 위해 UNet 스타일의 장거리 스케일 연결을 활용하여 공간 해상도를 유지하고 다중 척도 맥락 학습을 가능하게 한다.
• t-인접 슬라이스(t-1, t, t+1 등)를 활용하여 슬라이스 내 및 슬라이스 간 공간적 특징을 동시에 캡처하여, 3D 맥락을 2D 프레임워크에서 효과적으로 모델링하고 계산 부담을 줄인다.
• 수신 영역을 확장하고 관심 영역을 정밀하게 보정하기 위해 줌아웃/줌인 전략을 적용하여 배경 맥락을 효과적으로 제거한다.
• 병변 영역에 점진적으로 집중하기 위해 이중 단계 보정 전략을 사용하여 국소화 정확도와 세밀한 분할 성능을 향상시킨다.
• 단일 네트워크를 사용하여 간 및 병변 분할을 동시에 학습함으로써 추론 오버헤드와 메모리 소비를 최소화하는 엔드 투 엔드 학습 방식을 적용한다.

실험 결과

연구 질문

• RQ1 3D 네트워크의 높은 계산 비용 없이 2D 기반 네트워크가 복부 CT 볼륨에서 3D 공간적 맥락을 효과적으로 포착할 수 있는가?
• RQ2 네트워크 아키텍처의 구조적 다양성이 다양한 병변 크기와 형태에서 간 및 병변 분할을 위한 특징 표현을 어떻게 향상시킬 수 있는가?
• RQ3 단일 슬라이스 처리에 비해 연속된 t-인접 슬라이스가 분할 성능에 어느 정도 향상 기여하는가?
• RQ4 줌아웃/줌인 및 이중 단계 보정 전략이 배경 잡음을 효과적으로 억제하고 소형 또는 저대비 병변의 세밀한 분할 성능을 향상시키는 데 효과적인가?
• RQ5 단일 모델 접근 방식이 다중 작업 의료 영상 분할 챌린지에서 간 분할, 병변 분할, 탐지, 종양 부피 추정 등 다양한 작업에서 경쟁력 있는 성능을 달성할 수 있는가?

주요 결과

• 간 분할에서 딱시 스코어 0.9600을 기록하여 LiTS-MICCAI 2017 챌린지에서 전체 팀 중 3위를 차지하였다.
• 병변 분할에서 딱시 스코어 0.6200을 기록하여 전체 제출 중 12위를 기록하였다.
• 병변 탐지에서 리콜 0.446을 기록하여 챌린지에서 2위를 확보하였다.
• 종양 부피 추정에서 RMSE 0.0220을 기록하여 전체 팀 중 5위를 기록하였다.
• 단일 아키텍처로 모든 네 가지 작업에서 경쟁력 있는 성능을 달성하여 다양한 분할 과제에 대한 강건성과 일반화 능력을 입증하였다.