[논문 리뷰] Fully Automatic Segmentation of 3D Brain Ultrasound: Learning from Coarse Annotations

Julia Rackerseder, Rüdiger Göbl외 2명|arXiv (Cornell University)|2019. 04. 18.

Medical Image Segmentation Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 훈련 데이터로 근본적으로 흐린 및 불완전한 반자동 분할 마커를 사용함에도 불구하고, 시뮬레이션된 초음파 스캔을 통한 사전 훈련을 통해 이미지 정렬을 위한 강력한 초기화를 가능하게 하는 완전 자동 3D 뇌 초음파 분할 방법을 제안한다. 이 방법은 딱도스 점수 0.47±0.10과 평균 표면 거리 0.71±0.38 mm를 기록하며, 기준 모델을 능가하고 입력 마커보다 더 완전하고 일반화 능력이 뛰어난 분할 결과를 도출한다.

ABSTRACT

Intra-operative ultrasound is an increasingly important imaging modality in neurosurgery. However, manual interaction with imaging data during the procedures, for example to select landmarks or perform segmentation, is difficult and can be time consuming. Yet, as registration to other imaging modalities is required in most cases, some annotation is necessary. We propose a segmentation method based on DeepVNet and specifically evaluate the integration of pre-training with simulated ultrasound sweeps to improve automatic segmentation and enable a fully automatic initialization of registration. In this view, we show that despite training on coarse and incomplete semi-automatic annotations, our approach is able to capture the desired superficial structures such as extit{sulci}, the extit{cerebellar tentorium}, and the extit{falx cerebri}. We perform a five-fold cross-validation on the publicly available RESECT dataset. Trained on the dataset alone, we report a Dice and Jaccard coefficient of $0.45 \pm 0.09$ and $0.30 \pm 0.07$ respectively, as well as an average distance of $0.78 \pm 0.36~mm$. With the suggested pre-training, we computed a Dice and Jaccard coefficient of $0.47 \pm 0.10$ and $0.31 \pm 0.08$, and an average distance of $0.71 \pm 0.38~mm$. The qualitative evaluation suggest that with pre-training the network can learn to generalize better and provide refined and more complete segmentations in comparison to incomplete annotations provided as input.

연구 동기 및 목표

• 수술 중 이미지 정렬을 위한 완전 자동 3D 뇌 초음파 분할을 가능하게 하여 수동 마커 의존도를 감소시키기.
• 3D 초음파에서 제한적이고 흐린, 불완전한 진정 마커가 존재하는 문제를 해결하기 위해 시뮬레이션 기반 사전 훈련을 활용하기.
• 뇌 이완 현상과 열악한 품질의 입력 데이터가 존재하는 환경에서도 분할 모델의 강건성과 일반화 능력을 향상시키기.
• 입력 흐린 마커보다 더 완전하고 정교한 분할 결과를 도출할 수 있는 방법을 개발하여 정렬 초기화에 적합하게 만들기.
• 작은 데이터셋(23명의 환자)과 낮은 품질의 레이블 조건에서도 딥 러닝이 임상적으로 유용한 분할 결과를 도출할 수 있음을 입증하기.

제안 방법

• 3D 뇌 초음파 분할을 위해 완전 컨볼루션형 DenseVNet 아키텍처를 사용하여 체적 초음파 데이터로부터 엔드 투 엔드 학습을 가능하게 한다.
• 실제 데이터에 대한 미세 조정 이전에 시뮬레이션을 통해 생성된 합성 초음파 스캔을 활용해 사전 훈련을 수행함으로써 특징 학습 및 일반화 능력을 향상시킨다.
• 모델은 실질적으로 오류가 있고 영역이 누락된, 이전 방법에 기반한 흐린 및 불완전한 반자동 분할 마커만으로 훈련된다.
• 성능 평가의 객관성을 확보하기 위해 공개된 RESECT 데이터셋에서 5중 교차 검증을 적용한다.
• 평가 지표로는 딱도스 계수, 재현율 지수, 평균 표면 거리, 하우스도르프 거리를 사용하여 분할 정확도와 완전성 평가를 수행한다.
• 정성적 분석을 통해 예측된 분할 결과를 수동 진정 마커 및 흐린 입력 마커와 비교하여 정교화 수준과 구조 커버리지 평가를 수행한다.

실험 결과

연구 질문

• RQ1 흐린 및 불완전한 반자동 마커만으로 훈련된 딥 러닝 모델이 완전 자동 3D 뇌 초음파 분할을 달성할 수 있는가?
• RQ2 고품질 진정 마커가 없는 조건에서 시뮬레이션된 초음파 스캔을 통한 사전 훈련이 3D US 분할 모델의 일반화 및 정확도 향상에 기여하는가?
• RQ3 입력 마커가 흐릿하거나 빈약한 경우에도 예측된 분할 결과가 입력 마커보다 더 완전하고 정교한가?
• RQ4 특히 뇌 이완 현상이나 열악한 영상 품질이 존재하는 경우, 모델의 일반화 능력은 어느 정도인가?
• RQ5 임상적으로 강력하고 자동화된 초기화가 요구되는 뇌수술에서의 이미지 정렬 초기화에 이 방법이 적합한가?

주요 결과

• 사전 훈련을 통한 제안된 방법은 딱도스 계수 0.47±0.10과 재현율 지수 0.31±0.08을 기록하며, 기준 모델(0.45±0.09 및 0.30±0.07)보다 통계적으로 유의미한 향상을 보였다.
• 사전 훈련 시 평균 표면 거리는 0.71±0.38 mm로 감소하여, 사전 훈련 없이 0.78±0.36 mm였을 때보다 기하학적 정확도가 향상됨을 시사한다.
• 낮은 딱도스 점수에도 불구하고, 예측된 분할 결과는 입력 흐린 마커보다 더 완전하고, 대상 구조물(예: 수선, 대뇌막, 소뇌막)을 더 잘 커버하고 있다.
• 모델은 환자 간에 잘 일반화되며, 정성적 결과에서 입력 레이블이 흐릿하거나 빈약한 경우에도 정교하고 일관된 분할 결과를 도출하고 있다.
• 환자 1과 21은 입력 마커 품질이 열악하여 이질적인 것으로 나타났지만, 모델은 여전히 수동 진정 마커에 훨씬 더 가까운 분할 결과를 생성하고 있다.
• 모든 설정에서 하우스도르프 거리는 여전히 높게 유지되며(20.70±5.64 mm), 잔여 이질점이 존재함을 시사하지만, 평균 거리는 낮아 전체적으로 양호한 정렬을 나타내고 있다.