[논문 리뷰] Multiple Instance Segmentation in Brachial Plexus Ultrasound Image Using BPMSegNet

Yi Ding, Qiqi Yang외 3명|arXiv (Cornell University)|2020. 12. 22.

Medical Imaging and Analysis참고 문헌 49인용 수 7

한 줄 요약

이 논문은 초음파 영상에서 경쇄신경총 구조의 다중 인스턴스 세분화를 위한 딥러닝 프레임워크인 BPMSegNet을 제안한다. 이 프레임워크는 공간 국소 대비 특징, 자기주의 게이트, 향상된 특징 피라미드 업샘플링을 통합한다. 새로운 구성된 초음파 경쇄신경총 데이터셋(UBPD)에서 최신 기술 수준의 성능을 달성하였으며, 세분화에서는 AP 점수로 58.02(AP50), 48.92(AP60), 37.18(AP)를 기록하였고, 검출에서는 62.97(AP50), 56.46(AP60), 37.62(AP)의 점수를 기록하였다.

ABSTRACT

The identification of nerve is difficult as structures of nerves are challenging to image and to detect in ultrasound images. Nevertheless, the nerve identification in ultrasound images is a crucial step to improve performance of regional anesthesia. In this paper, a network called Brachial Plexus Multi-instance Segmentation Network (BPMSegNet) is proposed to identify different tissues (nerves, arteries, veins, muscles) in ultrasound images. The BPMSegNet has three novel modules. The first is the spatial local contrast feature, which computes contrast features at different scales. The second one is the self-attention gate, which reweighs the channels in feature maps by their importance. The third is the addition of a skip concatenation with transposed convolution within a feature pyramid network. The proposed BPMSegNet is evaluated by conducting experiments on our constructed Ultrasound Brachial Plexus Dataset (UBPD). Quantitative experimental results show the proposed network can segment multiple tissues from the ultrasound images with a good performance.

연구 동기 및 목표

• 소음, 낮은 무늬, 흐린 경계로 인해 식별이 어려운, 작은 저대비 경쇄신경총 신경을 정확하게 세분화하는 데 도전한다.
• 임상 실무에서 영감을 얻어 신경과 주변 조직(근육,靜맥, 동맥) 간의 해부학적 관계를 활용하여 인스턴스 세분화 성능을 향상시킨다.
• 초음파 영상 세분화에 특화된 경량이면서 효과적인 딥러닝 아키텍처를 개발하여 향상된 특징 표현과 업샘플링을 제공한다.
• 기준 측정 및 재현 가능 연구를 지원하기 위해 경쇄신경총 초음파 세분화를 위한 전용 고품질 데이터셋(UBPD)을 구축한다.
• 기존의 최신 기술 수준의 방법들인 Mask R-CNN과 YOLACT에 비해 검출 및 세분화 작업 모두에서 뛰어난 성능을 달성한다.

제안 방법

• 소형이고 눈에 띄지 않는 구조인 신경과 같은 구조의 가시성을 향상시키기 위해 국소 공간 해상도에서 다중 척도 대비 특징을 계산하는 공간 국소 대비 특징(SLCF) 모듈을 제안한다.
• 중요도에 따라 특징맵 채널을 재가중하는 자기주의 게이트(SAG) 모듈을 도입하여 관련 해부학적 구조에 집중하고 노이즈를 억제한다.
• 연쇄 업샘플링을 transpose 컨볼루션과 스킵 연결 결합으로 대체하여 특징 흐름을 향상시키고 공간 세부 정보를 유지함으로써 특징 피라미드 네트워크(FPN)를 개선한다.
• 인스턴스 세분화를 위해 Mask R-CNN 프레임워크를 변형하여 단일 추론 프로세스에서 다수의 조직(신경, 동맥, 정맥, 근육)의 동시 검출과 세분화를 가능하게 한다.
• SLCF, SAG, 향상된 FPN을 통합하여 다중 척도 특징과 맥락적 관계를 동시에 학습하는 새로운 네트워크 아키텍처인 BPMSegNet을 설계한다.
• 경쇄신경총 초음파 세분화를 위한 전용 데이터셋인 초음파 경쇄신경총 데이터셋(UBPD)을 구축하였으며, 다섯 가지 조직 유형에 대한 픽셀 수준 마스크가 포함된 1,000개의 주석이 부여된 초음파 영상이 포함되어 있다.

실험 결과

연구 질문

• RQ1 다중 척도 대비 특징은 초음파 영상에서 소형이고 저대비인 신경의 검출을 향상시킬 수 있는가?
• RQ2 자기주의 메커니즘은 경쇄신경총 초음파 영상에서 관련 해부학적 구조를 선택적으로 강조함으로써 특징 표현을 향상시킬 수 있는가?
• RQ3 FPN에서 transpose 컨볼루션과 스킵 연결을 통합하면 세분화 정확도와 경계 정렬 성능이 향상되는가?
• RQ4 전용 데이터셋으로 훈련된 딥러닝 모델은 기존 방법에 비해 경쇄신경총 인스턴스 세분화에서 뛰어난 성능을 달성할 수 있는가?
• RQ5 제안된 모듈들(SLCF, SAG, 향상된 FPN)이 세분화 및 검출 성능 향상에 어떻게 상호보완적으로 기여하는가?

주요 결과

• 제안된 BPMSegNet은 UBPD 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 세분화에서 AP50는 58.02, AP는 37.18로 Mask R-CNN과 YOLACT를 모두 초월하였다.
• 검출 성능에서는 BPMSegNet이 AP50 62.97, AP60 56.46, AP 37.62를 기록하였으며, Mask R-CNN(58.00 AP50)과 YOLACT(62.01 AP50)에 비해 뚜렷이 뛰어난 성능을 보였다.
• 절단 분석 결과, SLCF, SAG, 향상된 FPN의 세 모듈이 상호보완적으로 기여하는 것으로 확인되었으며, SLCF만으로도 AP50가 3.96점 향상되었다.
• 모델은 계산 비용이 낮은 편을 유지하였으며, 기준 모델 대비 약간의 파rameter와 FLOPs 증가만을 보였으며, SLCF와 SAG의 효율성을 입증하였다.
• 시각화 결과, BPMSegNet은 더 매끄럽고 정확한 세분화 마스크를 생성하여 세부 정보를 잘 유지하며 진짜 마스크에 가까운 결과를 도출한 반면, Mask R-CNN은 종종 소형 구조를 놓치거나 잘못 분류하는 경향을 보였다.
• UBPD 데이터셋은 다양한 환자 데이터와 전문가가 검증한 다섯 가지 조직 유형의 주석을 포함하여 향후 연구를 위한 신뢰할 수 있는 기준이 되었다.