[논문 리뷰] 3D Global Convolutional Adversarial Network\\ for Prostate MR Volume Segmentation

Haozhe Jia, Yang Song외 6명|arXiv (Cornell University)|2018. 07. 18.

Medical Imaging and Analysis참고 문헌 14인용 수 9

한 줄 요약

이 논문은 비등방성 3D ResNet 인코더와 다중 척도 전역 컨볼루션 및 경계 정밀화 디코더를 조합한 3D 글로벌 컨volutional 적대적 네트워크(3D GCA-Net)를 제안하여 전립선 MRI 부피 분할을 수행한다. 적대적 훈련을 통해 공간 일관성을 향상시켜, 두 개의 공개 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. ASPS 13에서 DSC는 0.880, 95%HD는 2.152 mm를 기록하여 뛰어난 분할 정확도와 강건성을 입증한다.

ABSTRACT

Advanced deep learning methods have been developed to conduct prostate MR volume segmentation in either a 2D or 3D fully convolutional manner. However, 2D methods tend to have limited segmentation performance, since large amounts of spatial information of prostate volumes are discarded during the slice-by-slice segmentation process; and 3D methods also have room for improvement, since they use isotropic kernels to perform 3D convolutions whereas most prostate MR volumes have anisotropic spatial resolution. Besides, the fully convolutional structural methods achieve good performance for localization issues but neglect the per-voxel classification for segmentation tasks. In this paper, we propose a 3D Global Convolutional Adversarial Network (3D GCA-Net) to address efficient prostate MR volume segmentation. We first design a 3D ResNet encoder to extract 3D features from prostate scans, and then develop the decoder, which is composed of a multi-scale 3D global convolutional block and a 3D boundary refinement block, to address the classification and localization issues simultaneously for volumetric segmentation. Additionally, we combine the encoder-decoder segmentation network with an adversarial network in the training phrase to enforce the contiguity of long-range spatial predictions. Throughout the proposed model, we use anisotropic convolutional processing for better feature learning on prostate MR scans. We evaluated our 3D GCA-Net model on two public prostate MR datasets and achieved state-of-the-art performances.

연구 동기 및 목표

• 2D 및 등방성 3D CNN의 한계를 해결하기 위해, 특히 비등방성 해상도에서 공간적 맥락 손실과 부적절한 처리 문제를 해결하고자 한다.
• 기존의 완전 컨volutional 네트워크에서 자주 忽略되는 볼륨 분할에서의 볼륨 단위 분류 및 국소화 문제를 동시에 해결하고자 한다.
• 추론 복잡도를 증가시키지 않고도 예측의 일관성과 공간 연속성을 향상시키고자 한다.
• 정확한 샘플 캡슐 경계를 위한 다중 척도 맥락과 경계 정밀화를 활용한 효율적인 3D 분할 프레임워크를 개발하고자 한다.
• 적대적 훈련이 의료 영상 분할의 밀도 예측 작업에 대한 정규화 메커니즘으로 효과적인지 검증하고자 한다.

제안 방법

• 전이 학습된 ImageNet 가중치로 초기화된 3D ResNet 기반 인코더를 사용하여 전립선 MRI 부피에서 계층적 3D 특징을 추출한다. 이는 더 나은 일반화를 위해 사용된다.
• 다중 척도 3D 전역 컨볼루션 블록을 갖춘 디코더는 다양한 수용 영역을 통해 장거리 맥락적 의존성을 캡처하여 특징 표현을 향상시킨다.
• 경계 정밀화 블록을 도입하여 전립선의 가장자리와 구조적 세부 정보에 집중함으로써 세분화된 국소화 정확도를 향상시킨다.
• 비등방성 3D 컨볼루션을 네트워크 전반에 적용하여 전립선 MRI 스캔에서 흔히 볼 수 있는 비균일한 볼륨 해상도(예: 1×1×1.5 mm)를 더 잘 모델링한다.
• 예측 레이블 맵의 공간 일관성을 강제하기 위해 분류 네트워크와 함께 공동으로 훈련되는 적대적 디스크리미네이터를 도입하며, 기존의 CRF 후처리를 대체한다.
• 훈련 중에 온라인 데이터 증강(뒤집기, 회전, 노이즈)을 적용하여 강건성을 향상시키며, 입력 패치 크기는 96×96×32, 배치 크기는 2이다.
• 추론 시 슬라이딩 윈도우 추론(스트라이드 48×48×16)과 출력 평균화를 통해 전체 부피의 분할 맵을 생성한다.

실험 결과

연구 질문

• RQ1 비등방성 3D 컨볼루션은 비균일한 해상도를 가진 전립선 MRI 부피에서 특징 학습과 분할 정확도를 향상시킬 수 있는가?
• RQ2 표준 역전치 컨볼루션 업샘플링에 비해 다중 척도 전역 컨볼루션 디코더는 부피 분할에서 장거리 맥락을 유지하는 데 더 우수한가?
• RQ3 적대적 훈련은 추론 비용을 증가시키지 않고도 더 매끄럽고 공간적으로 일관된 레이블 맵을 생성하기 위해 분류 네트워크를 효과적으로 정규화할 수 있는가?
• RQ4 제안된 3D GCA-Net은 2D 및 3D 완전 컨볼루션 네트워크의 최신 기술 수준 성능과 비교해 분할 정확도와 강건성 면에서 어떻게 다른가?
• RQ5 경계 정밀화와 전역 컨볼루션 블록의 통합이 전립선 분할의 국소화 정밀도를 얼마나 향상시키는가?

주요 결과

• 3D GCA-Net은 ASPS 13 데이터셋에서 DSC 0.880을 기록하여 V-Net(0.841)과 3D U-Net(0.862)을 능가하며 최신 기술 수준의 성능을 입증했다.
• 이 방법은 ASPS 13에서 95% 하우소르프 거리(95%HD) 2.152 mm를 달성하여 V-Net(2.531 mm)과 3D U-Net(2.487 mm)보다 유의미하게 낮게 기록하여 분할 외곽선이 적은 것을 시사한다.
• 적대적 훈련 구성 요소는 평균 경계 거리(ABD)를 3D 인코더-디코더의 2.402 mm에서 2.152 mm로 감소시켜 공간 일관성 향상에 효과적임을 확인했다.
• 2D 기반 방법(예: CAMP-TUM2, UdeM 2D)보다 높은 정확도를 기록했으며, CREATIS 및 CUMED와 같은 최고 성능을 보이는 방법들과 경쟁 가능했다.
• 148개의 컨볼루션 레이어를 가진 모델이지만 파라미터 수는 3350만 개에 불과하여 V-Net(6500만)과 3D U-Net(3390만)보다 적은 것으로 파라미터 효율성이 높음을 시사한다.
• PROMISE12에서의 정성적 결과는 분할 경계가 특히 전립선의 중심부 및 기저부에서 참값과 매우 유사하게 일치함을 보여주었다.