[논문 리뷰] E$^2$Net: An Edge Enhanced Network for Accurate Liver and Tumor Segmentation on CT Scans

Youbao Tang, Yuxing Tang외 3명|arXiv (Cornell University)|2020. 07. 19.

Advanced Neural Network Applications참고 문헌 44인용 수 6

한 줄 요약

이 논문은 CT 영상에서 정확한 간 및 간 종양 세그먼테이션을 위한 이중 단계 2D 딥러닝 프레임워크인 E2Net을 제안한다. 이는 가장자리 예측 브랜치와 학습 가능한 가장자리 거리 맵을 통해 간 및 종양 가장자리를 명시적으로 모델링함으로써 세그먼테이션 성능을 향상시키며, 다중 척도 특징을 정교화하기 위해 심층 크로스 특징 융합 모듈을 사용한다. 이 방법은 LiTS 및 3DIRCADb 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 2D, 3D 및 하이브리드 모델을 모두 능가하며, 경계 보존 능력과 저대비 및 흐린 기관 경계에 대한 강건성을 확보한다.

ABSTRACT

Developing an effective liver and liver tumor segmentation model from CT scans is very important for the success of liver cancer diagnosis, surgical planning and cancer treatment. In this work, we propose a two-stage framework for 2D liver and tumor segmentation. The first stage is a coarse liver segmentation network, while the second stage is an edge enhanced network (E$^2$Net) for more accurate liver and tumor segmentation. E$^2$Net explicitly models complementary objects (liver and tumor) and their edge information within the network to preserve the organ and lesion boundaries. We introduce an edge prediction module in E$^2$Net and design an edge distance map between liver and tumor boundaries, which is used as an extra supervision signal to train the edge enhanced network. We also propose a deep cross feature fusion module to refine multi-scale features from both objects and their edges. E$^2$Net is more easily and efficiently trained with a small labeled dataset, and it can be trained/tested on the original 2D CT slices (resolve resampling error issue in 3D models). The proposed framework has shown superior performance on both liver and liver tumor segmentation compared to several state-of-the-art 2D, 3D and 2D/3D hybrid frameworks.

연구 동기 및 목표

• 저대비 및 흐린 경계로 인한 CT 영상에서의 간 및 종양 세그먼테이션 정확도 저하 문제를 해결하기 위해.
• 이sovolumetric 슬라이스 간격으로 인한 리샘플링 아티팩트를 피하기 위해 3D 모델에 대한 의존도를 줄이고 더 효율적인 2D 기반 방법을 개발하기 위해.
• 간 및 종양 세그먼테이션을 위한 보조 지도 신호로 가장자리 정보를 명시적으로 모델링하여 경계 정확도를 향상시키기 위해.
• 제한된 애너테이션 데이터와 최소한의 계산 비용으로도 우수한 성능을 내는 경량이며 학습 가능한 프레임워크를 설계하기 위해.

제안 방법

• 프레임워크는 이중 단계 접근 방식을 사용한다: 첫 번째 단계에서는 Res2Net-50을 백본으로 사용하는 R2UNet를 통해 거친 간 세그먼테이션을 수행한다.
• 두 번째 단계에서는 E2Net을 도입하며, 이는 간과 종양을 동시에 세그먼테이션하고 그 경계를 예측하는 새로운 엣지 강화 네트워크이다.
• 네트워크에 가장자리 예측 브랜치를 추가하였으며, 가장자리 정확도 향상을 위해 보조 지도 신호로 학습 가능한 가장자리 거리 맵을 사용한다.
• 객체(간/종양) 브랜치와 가장자리 브랜치에서 유래한 다중 척도 특징을 이중적으로 정교화하기 위해 심층 크로스 특징 융합(DCFF) 모듈을 설계하였다.
• 리샘플링 오류가 3D 모델에서 흔한 점을 고려해 원본 2D CT 슬라이스에서 엔드 투 엔드로 모델을 훈련시켰다.
• 경계 무결성을 향상시키기 위해 이진 교차 엔트로피 손실과 딱지 손실에 더해 가장자리 인식 지도 신호를 통합한 손실 함수를 사용하였다.

실험 결과

연구 질문

• RQ1 명시적인 가장자리 지도 신호가 저대비 CT 영상에서 간 및 종양 세그먼테이션 정확도를 향상시킬 수 있는가?
• RQ2 표준 가장자리 예측과 비교해 가장자리 거리 맵을 지도 신호로 통합할 경우 경계 정밀도 향상에 어떤 영향을 미치는가?
• RQ3 객체 브랜치와 가장자리 브랜치 간의 심층 크로스 특징 융합이 다중 척도 특징 표현을 얼마나 향상시키는가?
• RQ4 리샘플링 또는 3D 컨텍스트 없이 2D 네트워크가 3D 및 하이브리드 모델을 능가할 수 있는가?

주요 결과

• LiTS 데이터셋에서 E2Net은 간 딱지 스코어 97.8%와 종양 딱지 스코어 74.8%를 기록하여 3D 및 하이브리드 모델을 포함한 최신 기술 수준 방법들을 능가했다.
• 3DIRCADb 데이터셋에서 E2Net은 간 딱지 스코어 98.9%와 종양 딱지 스코어 95.7%를 기록하였으며, 이는 이전 최신 기술 수준 방법(LW-HCN)보다 종양 세그먼테이션에서 1.6%포인트 높은 성능을 보였다.
• 절단 실험 결과, 가장자리 지도 및 가장자리 거리 맵을 추가함으로써 딱지 스코어가 1.5–2.5% 향상되었으며, 이 중 DCFF 모듈가 기여도가 가장 컸다.
• 모델은 강력한 일반화 능력을 보였으며, 훈련 중에 볼 수 없었던 3DIRCADb 데이터셋에서도 특별한 피팅 없이도 높은 성능을 달성했다.
• 이중 단계의 거친 후 세밀한 전략이 세그먼테이션 정확도를 크게 향상시켰으며, 첫 번째 단계만으로도 간 딱지 스코어가 1.5% 이상 향상된 바 있다.