[논문 리뷰] Uncertainty-driven Sanity Check: Application to Postoperative Brain Tumor Cavity Segmentation

Alain Jungo, Raphael Meier외 3명|arXiv (Cornell University)|2018. 06. 08.

Adversarial Robustness in Machine Learning참고 문헌 11인용 수 37

한 줄 요약

이 논문은 몽테 카를로 드롭아웃을 사용한 완전 컨volution형 DenseNet을 통해 병변 복합체의 병변 복합체 분할에 대한 불확실성 기반의 신뢰성 검증 방법을 제안한다. 이 방법은 공간 사전 지식과 결합하여 최악의 분할 결과와 네 개 중 세 개의 이상치를 성공적으로 식별하며, 딱지 점수는 0.792 ± 0.154를 기록한다. 이는 임상 워크플로우에서의 신뢰성 향상에 기여한다.

ABSTRACT

Uncertainty estimates of modern neuronal networks provide additional information next to the computed predictions and are thus expected to improve the understanding of the underlying model. Reliable uncertainties are particularly interesting for safety-critical computer-assisted applications in medicine, e.g., neurosurgical interventions and radiotherapy planning. We propose an uncertainty-driven sanity check for the identification of segmentation results that need particular expert review. Our method uses a fully-convolutional neural network and computes uncertainty estimates by the principle of Monte Carlo dropout. We evaluate the performance of the proposed method on a clinical dataset with 30 postoperative brain tumor images. The method can segment the highly inhomogeneous resection cavities accurately (Dice coefficients 0.792 $\pm$ 0.154). Furthermore, the proposed sanity check is able to detect the worst segmentation and three out of the four outliers. The results highlight the potential of using the additional information from the model's parameter uncertainty to validate the segmentation performance of a deep learning model.

연구 동기 및 목표

• 실제 임상 환경에서의 다양한 변동성에 대비해 딥 러닝 모델의 강건성 부족 문제를 해결하기 위해.
• 전문가 검토가 필요한 과도한 도전 과제를 탐지함으로써 자동 분할의 임상적 수용도를 향상시키기 위해.
• 방사선 치료 계획 수립에서 분할 실패를 식별하는 데 신뢰할 수 있는 신호로 모델의 불확실성을 활용하기 위해.
• 후기 뇌종양 빈혈 분할을 위한 첫 번째 완전 컨볼루션 신경망 접근법을 제시하기 위해.
• 불확실성 추정치와 공간 사전 지식을 통합하여 향상된 실패 탐지 기능을 갖춘 실용적인 검증 체계를 개발하기 위해.

제안 방법

• T1, T1c, T2 및 FLAIR 시퀀스에서 후기 뇌종양 빈혈의 3D 세그멘테이션을 위해 완전 컨볼루션형 DenseNet 아키텍처를 사용한다.
• 추론 중 몽테 카를로 드롭아웃을 적용하여 픽셀 단위의 불확실성을 추정함으로써 재학습 없이 베이지안 불확실성 추정을 가능하게 한다.
• 해부학적 사전 지식을 통합하여 빈혈 근처 영역을 우선순위로 하는 공간加權 평균 불확실성으로 '의심 점수'를 계산한다.
• 환자 간 입력 데이터 표준화를 위해 앤트로피에 대한 강체 정합 및 z-스코어 강도 정규화를 사용한다.
• 디스 커플런스 계수와 의심 점수를 조합한 이중 임계값 결정 프레임워크를 통해 사례를 진성 양성, 가짜 양성, 가짜 음성, 진성 음성으로 분류한다.
• 전문가가 검증한 진실값이 있는 30명의 간질성 뇌종양 환자로 구성된 임상 데이터셋을 사용하여 검증 체계를 평가한다.

실험 결과

연구 질문

• RQ1 딥 러닝 신경망에서 유도된 불확실성 추정치가 후기 뇌종양 빈혈 분할의 실패를 신뢰성 있게 식별할 수 있는가?
• RQ2 공간적으로 인지된 의심 점수는 전문가 검토가 필요한 도전적인 사례를 탐지하는 데 얼마나 효과적인가?
• RQ3 제안된 방법은 임상 데이터셋에서 최악의 분할 결과와 이상치를 탐지할 수 있는가?
• RQ4 매우 비균일한 제거 빈혈 영역에서 불확실성과 분할 정확도 간의 상관관계는 어느 정도인가?
• RQ5 불확실성 기반의 검증 체계는 방사선 치료 계획에서의 안전성을 유지하면서도 전체 인간 감시에 대한 의존도를 줄일 수 있는가?

주요 결과

• 30건의 임상 데이터셋에서 모델은 딱지 계수 0.792 ± 0.154를 기록하여 높은 분할 정확도를 보였다.
• 불확실성 기반의 검증 체계는 최악의 분할 결과를 성공적으로 식별했으며, 네 개 중 세 개의 이상치도 탐지하여 강력한 실패 탐지 능력을 입증했다.
• 높은 딱지 점수이지만 높은 불확실성을 보이는 사례는 모두 고위험으로 분류되어, 방법의 미세한 오류 탐지 능력이 검증되었다.
• 의심 점수에 포함된 공간 사전 지식은 뇌막 및 뇌하우스 공간 등 해부학적으로 복잡한 영역에서 도전적인 사례 탐지 능력을 향상시켰다.
• 검증 체계의 가짜 양성은 주로 빈혈 영역 외부에서 높은 불확실성을 보이는 경우에 기인하여, 방법의 모호한 조직 환경에 대한 민감도를 보여주었다.
• 자동화와 임상 감시 간 균형을 맞출 수 있는 설정 가능한 감시 레이어를 제공하여, 임상 시험과 같은 고처리량 응용 분야에 적합하다.