[논문 리뷰] Deep learning with spatiotemporal consistency for nerve segmentation in ultrasound images

Adel Hafiane, Pierre Vieyres외 1명|arXiv (Cornell University)|2017. 06. 19.

Anesthesia and Pain ManagementMedicine인용 수 17

한 줄 요약

이 논문은 초음파 유도 허브 레지아널 마취에서 신경 분할을 향상시키기 위해 시공간 일관성을 갖춘 딥러닝 프레임워크를 제안한다. 초기 신경 국소화를 위한 CNN과 공간적·시간적 일관성을 결합하여 잡음과 임의의 신호로 인한 잘못된 양성 결과를 줄이고, 정밀한 경계 분할을 위해 확률적 활성 윤곽선을 사용함으로써, 신경 국소화에서 96%의 F-스코어와 높은 분할 정확도를 달성하였다.

ABSTRACT

Ultrasound-Guided Regional Anesthesia (UGRA) has been gaining importance in the last few years, offering numerous advantages over alternative methods of nerve localization (neurostimulation or paraesthesia). However, nerve detection is one of the most tasks that anaesthetists can encounter in the UGRA procedure. Computer aided system that can detect automatically region of nerve, would help practitioner to concentrate more in anaesthetic delivery. In this paper we propose a new method based on deep learning combined with spatiotemporal information to robustly segment the nerve region. The proposed method is based on two phases, localisation and segmentation. The first phase, consists in using convolutional neural network combined with spatial and temporal consistency to detect the nerve zone. The second phase utilises active contour model to delineate the region of interest. Obtained results show the validity of the proposed approach and its robustness.

연구 동기 및 목표

• 수동적인 국소화가 시간이 많이 소요되고 전문 기술이 필요한 초음파 유도 허브 레지아널 마취(UGRA)에서 신경 탐지의 신뢰성이 떨어지는 문제를 해결한다.
• 초음파 영상의 잡음과 아티팩트로 인한 신경 국소화에서의 잘못된 양성 결과를 줄인다.
• 인간 전문가가 프로브의 움직임을 통해 신경 식별에 대한 자신감을 높이는 방식을 모방하여, 동적 스캔 행동—공간적·시간적 일관성—을 활용한다.
• 정밀한 국소화를 바탕으로 활성 윤곽선 모델의 초기 윤곽선으로 사용함으로써 분할 정확도를 향상시킨다.
• 딥러닝과 시공간 일관성을 통합한 방법이 기존의 SVM 및 단독 CNN과 비교해 우수한 성능을 보임을 입증한다.

제안 방법

• ReLU 활성화 함수와 최대 풀링을 사용한 3개의 컨volution 레이어를 갖춘 CNN을 사용하여 64×64 크기의 이미지 패치를 신경 또는 비신경 영역으로 분류한다.
• 다중 프레임 시퀀스에서 일관된 검출 결과를 보이는 ROI만 유지함으로써 공간적 일관성을 적용한다.
• 안정적인 프로브 이동 중 연속된 초음파 프레임 간에 검출된 ROI가 일정하게 유지되도록 시간적 일관성을 강제한다.
• 프레임 간 교차율(IoU) 기반 소프트 투표 메커니즘을 사용하여 잡음이나 일시적인 검출 결과를 걸러낸다.
• 정제된 ROI를 확률적 지오데식 활성 윤곽선(PGVF) 모델의 초기 윤곽선으로 입력하여 신경 경계를 정확하게 분할한다.
• 정규화를 위해 완전 연결층에 0.5 드롭아웃을 적용하고, 확률적 경사 하강법을 사용해 CNN을 최적화한다.

실험 결과

연구 질문

• RQ1 시공간 일관성을 적용하면 초음파 영상에서의 신경 국소화에서 잘못된 양성 결과를 현저히 줄일 수 있는가?
• RQ2 CNN 기반의 특징 학습과 시간적·공간적 일관성을 결합하면 단독 CNN 또는 SVM보다 국소화의 견고성이 향상되는가?
• RQ3 동적 스캔 정보(프로브의 움직임)를 활용하면 임상 환경에서 검출의 신뢰성이 어느 정도 향상되는가?
• RQ4 일관된 ROI로 초기화된 딥러닝과 활성 윤곽선 모델의 통합이 정확한 분할 정확도를 달성할 수 있는가?
• RQ5 제안된 방법은 SVM에 특징 선택 또는 시간 제약 조건을 적용한 기존 방법과 비교해 정량적으로 어떻게 우월한가?

주요 결과

• 제안된 방법은 신경 국소화에서 F-스코어 0.96 ± 0.25를 달성하여 단독 CNN(0.91 ± 0.24)과 특징 선택이 적용된 SVM(0.88 ± 0.52)을 모두 초월하였다.
• 시공간 일관성을 통합함으로써 CNN 단독 대비 F-스코어가 5% 향상되어 잘못된 양성 결과의 효과적인 억제가 이루어졌음을 시사한다.
• 분할 결과로 딱딱계수 0.85 ± 0.15와 하우스도르프 거리 10.72 ± 3.91을 기록하여 전문가의 주석과 높은 겹침을 보였다.
• CNN에 시공간 제약 조건을 적용한 방법은 SVM에 시간 제약 조건을 적용한 것보다 잘못된 양성 결과 감소 효과가 더 뛰어나 F-스코어 0.92 ± 0.33를 기록하였다.
• 정성적 결과로 분할 결과가 전문가가 그린 기준값과 매우 유사했으며, 저대비 또는 노이즈가 많은 영역에서도 정확한 경계 분할이 이루어졌다.
• 10명의 환자 영상에서 평균 500프레임씩의 실제 동적 초음파 시퀀스에서 프레임워크의 견고함을 입증하였다.