[논문 리뷰] FD-FCN: 3D Fully Dense and Fully Convolutional Network for Semantic Segmentation of Brain Anatomy

Binbin Yang, Weiwei Zhang|arXiv (Cornell University)|2019. 07. 22.

Medical Image Segmentation Techniques참고 문헌 6인용 수 9

한 줄 요약

이 논문은 T1 강도 MRI에서 피부질량 뇌 구조물의 빠르고 정확한 의미 분할을 위한 3D 전면 밀도 및 전면 컨볼루션 네트워크인 FD-FCN을 제안한다. 업샘플링 경로를 내림샘플링 버티컬로 대체하고, 수축된 수용체 영역을 가진 재설계된 밀도 블록을 통합하며, 공간적 맥락을 위해 스펙트럼 좌표를 통합함으로써 FD-FCN는 IBSR 데이터셋에서 89.81%의 최신 기술 수준(Dice 점수)을 달성하였으며, 스캔당 53초의 추론 시간으로 FC-DenseNet과 DeepNAT보다 정확성과 효율성 측면에서 뛰어나다.

ABSTRACT

In this paper, a 3D patch-based fully dense and fully convolutional network (FD-FCN) is proposed for fast and accurate segmentation of subcortical structures in T1-weighted magnetic resonance images. Developed from the seminal FCN with an end-to-end learning-based approach and constructed by newly designed dense blocks including a dense fully-connected layer, the proposed FD-FCN is different from other FCN-based methods and leads to an outperformance in the perspective of both efficiency and accuracy. Compared with the U-shaped architecture, FD-FCN discards the upsampling path for model fitness. To alleviate the problem of parameter explosion, the inputs of dense blocks are no longer directly passed to subsequent layers. This architecture of FD-FCN brings a great reduction on both memory and time consumption in training process. Although FD-FCN is slimmed down, in model competence it gains better capability of dense inference than other conventional networks. This benefits from the construction of network architecture and the incorporation of redesigned dense blocks. The multi-scale FD-FCN models both local and global context by embedding intermediate-layer outputs in the final prediction, which encourages consistency between features extracted at different scales and embeds fine-grained information directly in the segmentation process. In addition, dense blocks are rebuilt to enlarge the receptive fields without significantly increasing parameters, and spectral coordinates are exploited for spatial context of the original input patch. The experiments were performed over the IBSR dataset, and FD-FCN produced an accurate segmentation result of overall Dice overlap value of 89.81% for 11 brain structures in 53 seconds, with at least 3.66% absolute improvement of dice accuracy than state-of-the-art 3D FCN-based methods.

연구 동기 및 목표

• 경량이며 효율적이고 정확한 3D 전면 컨볼루션 네트워크를 개발하여 뇌 해부학적 분할의 성능 저하 문제를 해결한다.
• 높은 분할 정확도를 유지하면서 학습 중 메모리 소비를 줄이고 효율성을 향상시킨다.
• 스펙트럼 좌표를 통한 다중 척도 맥락과 공간 맥락 통합을 통해 밀도 기반 추론 능력을 향상시킨다.
• 기존의 FCN 기반 방법보다 정확성과 추론 속도 측면에서 하위피질 구조 분할에서 뛰어난 성능을 내도록 한다.
• 대규모 뇌영상 연구에 적합한 실시간 또는 근접 실시간 분할을 가능하게 한다.

제안 방법

• 업샘플링 및 스킵 연결 경로를 제거하여 메모리와 학습 시간을 줄이는 내림샘플링 기반의 전면 컨볼루션 아키텍처를 사용한다.
• 직접적인 파rameter 폭발 없이 층 간 특징을 집계하는 새로 설계된 밀도 블록을 도입하여 특징 재사용과 수용체 영역 크기를 향상시킨다.
• 버티컬 레이어에서 공간 맥락을 유지하기 위해 스펙트럼 좌표를 통합하여 국소화 정확도를 향상시킨다.
• 중간 레이어의 특징을 최종 예측에 통합하여 다중 척도 특징 간 일관성을 유도하고 세밀한 세부 정보를 통합한다.
• 제한된 GPU 메모리에서 효율적인 학습을 위해 27³ 크기의 입력 패치와 9³ 크기의 출력 패치를 사용하는 패치 기반 학습 전략을 적용한다.
• Adam 최적화를 사용하여 엔드 투 엔드 학습을 수행하고, 학습률 스케줄링으로 코시 감쇠를 적용하며, 15 에포크에서 조기 정지한다.

실험 결과

연구 질문

• RQ1 전면 컨볼루션, 전면 밀도 3D 네트워크가 빠른 추론과 낮은 메모리 사용을 유지하면서도 뛰어난 분할 정확도를 달성할 수 있는가?
• RQ2 U-형 업샘플링 경로를 내림샘플링 버티컬로 대체할 경우 학습 효율성과 모델 성능에 어떤 영향을 미치는가?
• RQ3 확장된 수용체 영역을 가진 재설계된 밀도 블록이 파rameter 수를 늘리지 않고 특징 표현을 얼마나 향상시키는가?
• RQ4 스펙트럼 좌표의 통합이 3D 뇌 MRI 분할에서 공간 맥락을 향상시키는 데 얼마나 효과적인가?
• RQ5 제안된 아키텍처가 최신 기술 수준의 다중 작업 모델과 비교해도 정확도를 유지하거나 초월하면서 근접 실시간 분할을 달성할 수 있는가?

주요 결과

• FD-FCN는 IBSR 데이터셋에서 11개의 하위피질 뇌 구조물에 대해 평균 Dice 점수 89.81%를 기록하여 FC-DenseNet(86.15%)를 크게 앞서고, DeepNAT(89.76%)와 정확도에서 동등하다.
• 스캔당 추론 시간이 단 53초에 그쳐 DeepNAT의 73분과 비교해 극적으로 향상되었으며, 정확도는 유사하게 유지되었다.
• 패치 기반 학습과 파rameter 부담 감소 덕분에 에포크당 학습 시간이 약 1.5시간으로 줄었고, 이는 FC-DenseNet의 3일/에포크 대비 뚜렷한 개선이다.
• 재설계된 밀도 블록의 통합으로 기준 모델 대비 Dice 점수 1.24% 향상되었다.
• 스펙트럼 좌표와 카르테시안 좌표의 추가로 Dice 점수 1.37% 향상되었으며, 이는 공간 맥락을 유지하는 데 효과적임을 입증한다.
• 시각적 결과에서는 FD-FCN가 복잡한 구조물인 해마와 뇌간에서 아티팩트나 이물질 없이 더 매끄럽고 정확한 분할 결과를 생성함을 확인할 수 있었다.