[논문 리뷰] Exploiting full Resolution Feature Context for Liver Tumor and Vessel Segmentation via Integrate Framework: Application to Liver Tumor and Vessel 3D Reconstruction under embedded microprocessor

Xiangyu Meng, Xudong Zhang외 6명|arXiv (Cornell University)|2021. 11. 26.

Radiomics and Machine Learning in Medical Imaging인용 수 6

한 줄 요약

이 논문은 CT 영상에서 간 종양 및 혈관 분할을 햖을 때 정확도를 향상시키기 위해 전체 해상도 특징 맥락을 활용하는 트랜스포머 기반의 다중 척도 특징 융합 네트워크인 TransFusionNet을 제안한다. 전역적 맥락 모델링과 효율적인 특징 재구성 기능을 통합함으로써, 간 종양의 경우 0.961, 혈관의 경우 0.899의 최신 기술(SOTA) 수준의 딱지 점수(Dice score)를 달성하였으며, 실시간 3D 재구성 기능을 갖춘 임베디드 마이크로프로세서에 성공적으로 구현하였다.

ABSTRACT

Liver cancer is one of the most common malignant diseases in the world. Segmentation and labeling of liver tumors and blood vessels in CT images can provide convenience for doctors in liver tumor diagnosis and surgical intervention. In the past decades, many state-of-the-art medical image segmentation algorithms appeared during this period. With the development of embedded devices, embedded deployment for medical segmentation and automatic reconstruction brings prospects for future automated surgical tasks. Yet, most of the existing segmentation methods mostly care about the spatial feature context and have a perception defect in the semantic relevance of medical images, which significantly affects the segmentation accuracy of liver tumors and blood vessels. Deploying large and complex models into embedded devices requires a reasonable trade-off between model accuracy, reasoning speed and model capacity. Given these problems, we introduce a multi-scale feature fusion network called TransFusionNet based on Transformer. This network achieved very competitive performance for liver vessel and liver tumor segmentation tasks, meanwhile it can improve the recognition of morphologic margins of liver tumors by exploiting the global information of CT images. Experiments show that in vessel segmentation task TransFusionNet achieved mean Dice coefficients of 0.899 and in liver tumor segmentation task TransFusionNet achieved mean Dice coefficients of 0.961. Compared with the state-of-the-art framework, our model achieves the best segmentation result. In addition, we deployed the model into an embedded micro-structure and constructed an integrated model for liver tumor vascular segmentation and reconstruction. This proprietary structure will be the exclusive component of the future medical field.

연구 동기 및 목표

• 기존 의료 영상 모델에서 제한된 의미적 및 공간적 맥락으로 인해 간 종양 및 혈관의 분할 정확도가 낮은 문제를 해결하기 위해.
• 자원이 제한된 임베디드 마이크로프로세서에 적합한 경량이면서 정확한 분할 모델을 개발하기 위해.
• 임상적 사용을 위해 CT 스캔에서 간 종양 및 혈관 구조의 실시간 자동 3D 재구성 기능을 제공하기 위해.
• 수술 계획에 있어 중요한 세부 혈관 가장자리와 종양 경계를 보다 잘 인식하기 위해.
• 고정확도 딥 러닝 모델과 임상적 임베디드 시스템에서의 실용적 구현 간 격차를 메우기 위해.

제안 방법

• 전고해상도 특징 복원을 위해 다중 척도 특징 융합 디코더를 탑재한 U-Net 유사 인코더-디코더 아키텍처인 TransFusionNet을 제안한다.
• 장거리 전역 맥락을 캡처하고 복잡한 해부학적 구조의 의미 이해를 향상시키기 위해 비전 트랜스포머(ViT) 인코더를 통합한다.
• 완전한 TransFusionNet를 경량 모델로 압축하기 위해 지식 증류 기법을 적용한다.
• Jetson TX2에서의 추론 속도 향상과 모델 크기 감소를 위해 후처리 양자화를 적용한다.
• 예측 레이블 맵 o에 대해 y = G * argmax(o) 식을 사용한 가우시안 필터 기반 후처리 단계를 적용하여 분할 마스크를 정밀하게 보정한다.
• 압축 및 양자화된 모델을 임베디드 Jetson TX2 시스템에 배포하여 CT 볼륨에서 실시간 3D 재구성 기능을 수행한다.

실험 결과

연구 질문

• RQ1 트랜스포머 기반 네트워크가 CT 영상에서 간 종양 및 혈관의 분할 정확도 향상을 위해 전체 해상도 특징 맥락을 효과적으로 활용할 수 있는가?
• RQ2 다중 척도 특징 융합 기법이 종양 경계나 소형 혈관과 같은 세부 해부학적 구조 복원 능력을 어떻게 향상시키는가?
• RQ3 정확도 손실이 크지 않게 큰 정확도의 분할 모델을 자원이 제한된 임베디드 마이크로프로세서에 압축 및 구현할 수 있는 정도는 어느 정도인가?
• RQ4 임베디드 환경에서의 배포가 간 종양 및 혈관 구조의 실시간 고해상도 3D 재구성 기능을 가능하게 하는가?
• RQ5 최신 기술 수준의 모델과 비교할 때, 제안된 방법은 딱지 점수와 재구성 정밀도 측면에서 어떤 성능을 보이는가?

주요 결과

• LITS 데이터셋에서 TransFusionNet는 간 종양 분할에 대해 평균 딱지 계수 0.961을 기록하여 최신 기술 수준의 방법들을 능가했다.
• 3DIRCADB 데이터셋에서 간 혈관 분할에 대해 평균 딱지 계수 0.899를 기록하여 뛰어난 성능을 입증했다.
• 저자들이 자체적으로 애너테이션한 데이터셋에서, 종양 분할의 경우 IOU가 0.927, 혈관 분할의 경우 0.822를 기록하여 강력한 일반화 능력을 보였다.
• 지식 증류 및 양자화 파이프라인을 통해 Jetson TX2 임베디드 시스템에 배포 가능한 모델로 성공적으로 압축되었다.
• 임베디드 시스템에서 재구성된 3D 모델은 수동 애너테이션과 높은 유사성을 보였으며, 소음과 세부 정보 손실이 약간 있었다.
• 시스템은 전통적인 수동 애너테이션 대비 상당한 수준의 수동 노력 감소를 이끌어내며, 실시간 자동 3D 재구성 기능을 제공한다.