[논문 리뷰] Feature Fusion Encoder Decoder Network For Automatic Liver Lesion Segmentation

Xueying Chen, Rong Zhang외 1명|arXiv (Cornell University)|2019. 03. 28.

Radiomics and Machine Learning in Medical Imaging참고 문헌 17인용 수 9

한 줄 요약

이 논문은 CT 영상에서 간 병변 자동 분할을 위한 경량 2D 특징 융합 인코더-디코더 네트워크(FED-Net)를 제안한다. 주목적 기반 특징 융합, 밀집 업샘플링 컨볼루션, 잔차 블록을 통합함으로써 FED-Net은 특징 표현과 경계 정밀도를 향상시켰으며, LiTS 2017 챌린지에서 0.650의 Dice 스코어를 기록하여 많은 2D 모델을 능가하고 2.5D/3D 최신 기술과도 경쟁 가능하면서도 낮은 계산 비용을 유지한다.

ABSTRACT

Liver lesion segmentation is a difficult yet critical task for medical image analysis. Recently, deep learning based image segmentation methods have achieved promising performance, which can be divided into three categories: 2D, 2.5D and 3D, based on the dimensionality of the models. However, 2.5D and 3D methods can have very high complexity and 2D methods may not perform satisfactorily. To obtain competitive performance with low complexity, in this paper, we propose a Feature-fusion Encoder-Decoder Network (FED-Net) based 2D segmentation model to tackle the challenging problem of liver lesion segmentation from CT images. Our feature fusion method is based on the attention mechanism, which fuses high-level features carrying semantic information with low-level features having image details. Additionally, to compensate for the information loss during the upsampling process, a dense upsampling convolution and a residual convolutional structure are proposed. We tested our method on the dataset of MICCAI 2017 Liver Tumor Segmentation (LiTS) Challenge and achieved competitive results compared with other state-of-the-art methods.

연구 동기 및 목표

• 저대비, 노이즈가 많은 CT 영상에서 비정형 형태와 명확하지 않은 경계를 가진 간 병변의 정확하고 효율적인 분할에 도전한다.
• 3D 및 2.5D 모델과 경쟁 가능한 성능을 달성하면서도 계산 복잡도와 하드웨어 요구 사항을 최소화하는 2D 딥 러닝 모델을 개발한다.
• 주목적 기반 메커니즘을 활용해 특성의 의미적 관련성을 기반으로 가중치를 동적으로 할당함으로써 U-Net 기반 아키텍처의 특징 융합을 향상시킨다.
• 업샘플링 과정에서의 정보 손실을 줄이기 위해 밀집 업샘플링 컨볼루션과 잔차 블록을 도입하여 병변 경계를 정밀하게 개선한다.
• 제한된 계산 자원을 가진 임상 현장에서의 실질적 구현에 적합한 경량이며 일반화 능력이 뛰어난 모델을 구축한다.

제안 방법

• 인코더는 사전 훈련된 ResNet-50 백본을 사용하며, 다섯 개의 잔차 블록에서 특징 맵을 추출하여 다중 수준 표현을 캡처한다.
• 주목적 기반 특징 융합 모듈은 다양한 인코더 단계의 특징에 대해 학습 가능한 가중치를 할당하여 고수준 의미적 특징과 저수준 공간적 세부 정보를 융합한다.
• 표준 역합성 컨볼루션 대신 밀집 업샘플링 컨볼루션(DUC) 레이어를 도입하여 공간 해상도를 더 잘 복원하고 위치 정보를 유지한다.
• 특징 융합 이전에 잔차 컨볼루션 블록(RCB)을 삽입하여 경계 예측을 정밀하게 조정하고 업샘플링으로 인한 노이즈를 감소시킨다.
• 인코더와 디코더 사이에 스킵 커넥션을 사용하여 공간 세부 정보를 유지하고, 디코딩 과정에서 특징 맵의 차원을 조정하기 위해 1×1 컨볼루션을 적용한다.
• 모델은 데이터 증강(수평 및 수직 반전)을 적용한 확률적 경사 하강법으로 훈련되며, 후처리 과정으로 임계치 설정과 간 경계 상자 마스킹을 통해 병변 분할을 수행한다.

실험 결과

연구 질문

• RQ1 2D 딥 러닝 모델이 3D 및 2.5D 모델과 경쟁 가능한 성능을 달성하면서도 계산 비용을 크게 줄일 수 있는가?
• RQ2 주목적 기반 특징 융합은 의료 영상 분할에서 의미적 표현을 향상시키면서도 공간 세부 정보를 유지하는 데 얼마나 효과적인가?
• RQ3 밀집 업샘플링 컨볼루션과 잔차 블록이 업샘플링 과정에서의 정보 손실을 줄이고 경계 정밀도를 향상시키는 데 어느 정도 기여하는가?
• RQ4 제안된 FED-Net은 다양한 촬영 프로토콜과 영상 강도를 가진 다양한 CT 스캔에 대해 잘 일반화되는가?
• RQ5 경량 2D 네트워크가 3D 모델보다 성능이 뛰어나거나 동등한 성능을 내는가?

주요 결과

• FED-Net은 LiTS 2017 테스트 세트에서 케이스 기반 Dice 스코어 0.650과 글로벌 Dice 스코어 0.766을 기록하여 여러 2D 및 2.5D 최신 기술을 능가했다.
• 제거 실험을 통해 주목적 기반 융합, DUC, RCB 각 요소가 성능 향상에 점진적으로 기여했으며, 전체 모델에서 가장 높은 성능 향상을 보였다.
• 주목적 기반 메커니즘에 스queeze-and-excitation(SE) 블록을 추가함으로써 기준 특징 융합보다 성능이 0.8% 향상되었다.
• 파rameter 수가 적고 3D 아키텍처임에도 불구하고, H-DenseUNet(0.722 케이스 기반 Dice) 및 3D AH-Net(0.834 글로벌 Dice) 등 3D 모델과도 경쟁 가능한 성능을 보였다.
• 최소-최대 정규화와 HU 윈도잉(-200에서 250 HU 범위)을 적용함으로써 다양한 임상 기관 및 스캐너에서의 영상 일관성이 향상되었다.
• 간 경계 상자와 임계치 설정(0.3)을 활용한 후처리로 예측 범위를 간 영역으로 집중시켜 병변 분할 정확도가 향상되었다.