[논문 리뷰] Real-time Prediction of Segmentation Quality

R. H. Robinson, Ozan Oktay외 18명|arXiv (Cornell University)|2018. 06. 16.

Advanced X-ray and CT Imaging참고 문헌 7인용 수 13

한 줄 요약

이 논문은 심장 혈관 자기공명 영상 분할 품질을 실시간으로 예측하기 위한 딥러닝 기반 방법을 제안한다. 평가 지표로 DSC(Dice Similarity Coefficient)를 사용하며, 정답 데이터가 있는 경우 평균 절대 오차(MAE)가 0.03이며, 없는 경우 0.14를 기록하여 진단 결정 이전에 열악한 분할 품질을 조기에 탐지할 수 있는 밀리초 수준의 피드백을 제공한다.

ABSTRACT

Recent advances in deep learning based image segmentation methods have enabled real-time performance with human-level accuracy. However, occasionally even the best method fails due to low image quality, artifacts or unexpected behaviour of black box algorithms. Being able to predict segmentation quality in the absence of ground truth is of paramount importance in clinical practice, but also in large-scale studies to avoid the inclusion of invalid data in subsequent analysis. In this work, we propose two approaches of real-time automated quality control for cardiovascular MR segmentations using deep learning. First, we train a neural network on 12,880 samples to predict Dice Similarity Coefficients (DSC) on a per-case basis. We report a mean average error (MAE) of 0.03 on 1,610 test samples and 97% binary classification accuracy for separating low and high quality segmentations. Secondly, in the scenario where no manually annotated data is available, we train a network to predict DSC scores from estimated quality obtained via a reverse testing strategy. We report an MAE=0.14 and 91% binary classification accuracy for this case. Predictions are obtained in real-time which, when combined with real-time segmentation methods, enables instant feedback on whether an acquired scan is analysable while the patient is still in the scanner. This further enables new applications of optimising image acquisition towards best possible analysis results.

연구 동기 및 목표

• 임상 환경에서 자동화된 심장 MRI 분할 품질에 대한 실시간 평가를 가능하게 하기 위해.
• 대규모 연구에서 필수적인 수준의 수동 레이블에 의존하지 않고 낮은 품질의 분할을 탐지하기 위해.
• 역방향 테스트 방법에 비해 품질 평가에 소요되는 시간을 분에서 밀리초로 단축하기 위해.
• 실시간 분할 파이프라인과 호환되는 확장 가능하고 구현 가능한 프레임워크를 개발하기 위해.
• 이식 가능한 품질 지표를 사용하여 완전히 레이블링된 상황과 데이터가 부족한 상황 모두에서 성능을 검증하기 위해.

제안 방법

• 12,880개의 레이블이 부여된 케이스를 기반으로 컨볼루션 신경망(CNN)을 훈련하여 입력 MRI 영상에서 직접 DSC 점수를 예측한다.
• 제로샷 시나리오에서는 수동 레이블이 아닌 역방향 테스트(RCA)에서 유도된 품질 점수를 사용하여 훈련함으로써 수동 레이블 없이도 활용 가능하도록 한다.
• RCA 기반 접근법은 정확한 분할이 확인된 100개의 기준 영상 데이터를 사용하여 훈련을 위한 DSC 유사 지표를 추정한다.
• 모델은 각 케이스별로 DSC를 예측하고, 높은 품질(>0.5 DSC)과 낮은 품질(<0.5 DSC)을 구분하는 이진 분류를 수행한다.
• CPU 기반으로는 600ms 이내, GPU 기반으로는 40ms 이내에 추론가능하여 스캔 워크플로우에 실시간 통합이 가능하다.
• 프레임워크는 영국 생물은행 영상 연구에서 확보한 1,610개의 테스트 케이스를 대상으로 평가되었으며, 구조별 및 전체 심장 분할 분석이 수행되었다.

실험 결과

연구 질문

• RQ1 정답 데이터가 없을 경우에도 고정밀도로 실시간으로 분할 품질을 예측할 수 있는 딥러닝 모델이 존재하는가?
• RQ2 수동 레이블이 존재하는지 여부에 따라 DSC 예측 네트워크의 성능는 어떻게 달라지는가?
• RQ3 역방향 테스트(RCA) 점수는 품질 예측 네트워크 훈련을 위한 대체 레이블로 얼마나 유용한가?
• RQ4 제안된 방법은 밀리초 이내의 추론 시간을 확보하면서도 임상적으로 의미 있는 정확도를 유지할 수 있는가?
• RQ5 이미지 품질의 변동성과 분할 경계 오류에 대해 모델의 강건성은 어느 정도인가?

주요 결과

• 정답 데이터 기반 훈련 시 1,610개의 테스트 케이스에서 평균 절대 오차(MAE)가 0.03을 기록하여 높은 회귀 정확도를 입증했다.
• 정답 데이터가 있는 상황에서 이진 분류 정확도는 낮은 품질(DSC < 0.5)과 높은 품질(DSC ≥ 0.5)을 구분하는 데 97%에 도달했다.
• 정답 데이터가 없는 상황에서는 RCA 기반 레이블을 사용하여 MAE가 0.14로 측정되었으며, 이진 분류 정확도는 91%였다.
• 추론 시간은 GPU 기반으로 40ms, CPU 기반으로 600ms로 단축되어 기존 RCA 방법(660초)보다 10,000배 이상 빠르게 되었다.
• 좌심실(LV), 심장비근(LVM), 우심실 캐비티(RVC), 배경(BG), 전체 심장(WH) 등 모든 심장 구조에서 뛰어난 성능를 보였으며, 배경과 좌심실 캐비티에서 가장 낮은 오차를 기록했다.
• 프레임워크는 MRI 스캔 중 실시간 피드백을 제공할 수 있으며, 예측된 분할 품질이 열악할 경우 즉각적인 재촬영이 가능하도록 한다.