[논문 리뷰] Hepatic vessel segmentation based on 3D swin-transformer with inductive biased multi-head self-attention

Mian Wu, Yinling Qian외 3명|arXiv (Cornell University)|2021. 11. 05.

Advanced Neural Network Applications참고 문헌 28인용 수 7

한 줄 요약

이 논문은 3D 스위니 트랜스포머 기반의 네트워크인 IBIMHAV-Net을 제안하며, CT 영상에서 간 혈관을 정확하게 분할하기 위해 인덕티브 바이어스가 있는 멀티헤드 자기주의를 통합한다. 병렬로 볼륨 단위 임bedding, 다중 스케일 컨볼루션, 상대적 위치 바이어스 학습을 결합함으로써 전역적 맥락 모델링과 국소적 세부 정보 유지가 향상되어 3DIRCADb 데이터셋에서 74.8%의 딱스 점수를 기록하며 이전의 딥러닝 및 그래프 컷 방법들을 능가한다.

ABSTRACT

Purpose: Segmentation of liver vessels from CT images is indispensable prior to surgical planning and aroused broad range of interests in the medical image analysis community. Due to the complex structure and low contrast background, automatic liver vessel segmentation remains particularly challenging. Most of the related researches adopt FCN, U-net, and V-net variants as a backbone. However, these methods mainly focus on capturing multi-scale local features which may produce misclassified voxels due to the convolutional operator's limited locality reception field. Methods: We propose a robust end-to-end vessel segmentation network called Inductive BIased Multi-Head Attention Vessel Net(IBIMHAV-Net) by expanding swin transformer to 3D and employing an effective combination of convolution and self-attention. In practice, we introduce the voxel-wise embedding rather than patch-wise embedding to locate precise liver vessel voxels, and adopt multi-scale convolutional operators to gain local spatial information. On the other hand, we propose the inductive biased multi-head self-attention which learns inductive biased relative positional embedding from initialized absolute position embedding. Based on this, we can gain a more reliable query and key matrix. To validate the generalization of our model, we test on samples which have different structural complexity. Results: We conducted experiments on the 3DIRCADb datasets. The average dice and sensitivity of the four tested cases were 74.8% and 77.5%, which exceed results of existing deep learning methods and improved graph cuts method. Conclusion: The proposed model IBIMHAV-Net provides an automatic, accurate 3D liver vessel segmentation with an interleaved architecture that better utilizes both global and local spatial features in CT volumes. It can be further extended for other clinical data.

연구 동기 및 목표

• 낮은 대비와 복잡한 혈관 구조로 인해 CT 영상에서 3D 간 혈관 분할을 정확히 수행하는 데 도전하는 문제를 해결한다.
• 국소적 수용장역에 의존하고 장거리 의존성을 다루기 어려운 컨volutional 네트워크 기반 모델(예: U-Net)의 한계를 극복한다.
• 3D 볼륨 설정에서 전역 자기주의와 국소 컨볼루션 특징 학습을 통합하여 분할 정확도를 향상시킨다.
• 다양한 혈관 복잡성과 병적 상태에 일반화되는 강력한 엔드 투 엔드 프레임워크를 개발한다.
• 수술 계획 및 치료 지도를 지원하기 위해 수동 조작 없이 자동으로 정밀한 분할을 가능하게 한다.

제안 방법

• 2D 스위니 트랜스포머를 3D로 확장하여 볼륨 영상 데이터에서 장거리 공간적 의존성을 모델링한다.
• 패치 기반 임베딩 대신 볼륨 단위 임베딩을 사용하여 혈관 볼륨의 정확한 공간적 국소화를 유지한다.
• 미세한 국소 공간적 특징을 캡처하기 위해 병렬 경로에 다중 스케일 컨볼루션 레이어를 통합한다.
• 초기화된 절대 위치에서 유도된 상대적 위치 임베딩을 학습하는 인덕티브 바이어스가 있는 멀티헤드 자기주의를 제안한다. 이는 쿼리-키 행렬의 신뢰도를 향상시킨다.
• 디코더에서 업샘플링을 위해 3D 트랜스포즈 컨볼루션 레이어를 사용하여 삼선형 보간법과 패치 확장 방식보다 성능이 뛰어나다.
• 3D 패치 병합 대신 작은 스트라이드 컨볼루션 레이어를 사용하여 다운샘플링을 수행함으로써 공간 계층을 더 잘 유지하고 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 볼륨 단위 임베딩과 인덕티브 바이어스를 갖춘 3D 스위니 트랜스포머는 기존의 CNN 기반 모델에 비해 간 혈관 분할 정확도를 향상시킬 수 있는가?
• RQ2 하이브리드 아키텍처에서 다중 스케일 컨볼루션과 자기주의를 융합하면 3D CT 영상에서 특징 표현에 어떤 영향을 미치는가?
• RQ3 저대비, 복잡한 혈관 환경에서 3D 트랜스포머 기반 분할 네트워크의 최적의 다운샘플링 및 업샘플링 전략은 무엇인가?
• RQ4 제안된 인덕티브 바이어스가 있는 위치 임베딩은 표준 절대 또는 상대적 위치 인코딩에 비해 주의 학습에 어떤 개선을 이끌어내는가?
• RQ5 모델은 간 CT 영상에서 다양한 구조적 복잡성과 병적 상태에 대해 얼마나 잘 일반화되는가?

주요 결과

• IBIMHAV-Net은 3DIRCADb 데이터셋에서 평균 딱스 계수 74.8%를 기록하여 기존의 딥러닝 및 그래프 컷 방법들을 능가했다.
• 모델은 77.5%의 민감도를 보이며, 작은 혈관과 굽이진 혈관의 탐지 성능이 뛰어나다는 것을 확인했다.
• 3D 트랜스포즈 컨볼루션을 사용한 업샘플링이 삼선형 보간법(72.21%)과 패치 확장 방식(67.11%)보다 높은 딱스 점수(74.83%)를 기록했다.
• 3D 패치 병합 대신 작은 스트라이드 컨볼루션 레이어를 사용한 다운샘플링 전략이 혈관 분할에서 74.83%의 딱스 점수를 기록했으며, 배경 분할에선 96.92%의 높은 정확도를 기록했다.
• 국소 특징 추출 블록을 제거하면 딱스 점수가 7.5% 감소하고 정확도는 12% 감소하여, 미세한 세부 정보 유지에 있어 이 블록의 핵심적 역할을 확인했다.
• 입력 해상도 128×128×96이 성능과 계산 비용의 양면에서 균형을 잘 맞추는 것으로 나타났다. 더 큰 입력 해상도는 높은 비용에 비해 딱스 점수 향상 폭이 ±0.3%에 불과했다.