[논문 리뷰] Interactive segmentation of medical images through fully convolutional neural networks

Tomas Sakinis, Fausto Milletarì외 8명|arXiv (Cornell University)|2019. 03. 19.

Radiomics and Machine Learning in Medical Imaging참고 문헌 29인용 수 60

한 줄 요약

딥 러닝 기반의 반자동 세그먼트화 방법은 사용자 클릭으로 안내되는 전형 컨볼루션 신경망을 사용하여 CT 영상에서 의학적 구조를 신속하게 구분하고, 보이지 않는 기관에 대해 강한 일반화와 인터랙티브 피드백을 통한 효율적 정교화를 보장한다.

ABSTRACT

Image segmentation plays an essential role in medicine for both diagnostic and interventional tasks. Segmentation approaches are either manual, semi-automated or fully-automated. Manual segmentation offers full control over the quality of the results, but is tedious, time consuming and prone to operator bias. Fully automated methods require no human effort, but often deliver sub-optimal results without providing users with the means to make corrections. Semi-automated approaches keep users in control of the results by providing means for interaction, but the main challenge is to offer a good trade-off between precision and required interaction. In this paper we present a deep learning (DL) based semi-automated segmentation approach that aims to be a "smart" interactive tool for region of interest delineation in medical images. We demonstrate its use for segmenting multiple organs on computed tomography (CT) of the abdomen. Our approach solves some of the most pressing clinical challenges: (i) it requires only one to a few user clicks to deliver excellent 2D segmentations in a fast and reliable fashion; (ii) it can generalize to previously unseen structures and "corner cases"; (iii) it delivers results that can be corrected quickly in a smart and intuitive way up to an arbitrary degree of precision chosen by the user and (iv) ensures high accuracy. We present our approach and compare it to other techniques and previous work to show the advantages brought by our method.

연구 동기 및 목표

• 정밀도와 필요한 사용자 노력을 균형 있게 달성하기 위한 의학 분야에서의 인터랙티브 세그먼트화 필요성 동기를 제시한다.
• 최소한의 사용자 입력(클릭)에 응답하여 ROI를 구분하는 CNN 기반의 반자동 세그먼트화 프레임워크를 제안한다.
• 추가 클릭을 통한 반복 보정을 통해 빠른 초기 세그먼트를 가능하게 하여 높은 정확도와 미지의 구조에 대한 일반화를 유지한다.
• CT 복부 데이터셋에서의 효과를 시연하고 완전 자동 방법 및 기존의 인터랙티브 접근법과 비교한다.

제안 방법

• 한 번에 하나의 ROI에 대한 이진 세그먼트를 학습하도록 설계된 완전 연결 인코더–디코더 네트워크를 사용한다.
• 전경 클릭 및 배경 클릭에서 얻은 사용자 가이드 신호로 입력을 보강하여 세 채널 2D 입력(image, foreground guidance, background guidance)을 형성한다.
• 클릭을 가우시안 필터링을 통해 매끄러운 가이드 맵으로 변환하고; [0,1]로 정규화한 후 이미지와 함께 네트워크 입력으로 연결(concatenate)한다.
• FP/FN 영역을 수정하기 위해 사용자가 클릭을 추가하는 것을 모방한 반복적 시뮬레이션 상호작용 전략으로 학습하고, 배치 간 Dice 손실로 최적화한다.
• 오프라인으로 차이 맵과 Chamfer 거리 필드를 사용하여 상호작용을 시뮬레이션하고 클릭 위치를 오류 영역으로 편향시킨다.
• 네 가지 다운샘플링 블록, 바틀넥, 그리고 네 가지 업샘플링 블록을 갖춘 2D FCNN을 채택한다; 표준 conv–BN–ReLU 블록과 풀 해상도 출력을 위한 전치 합성(convolution)들을 사용한다.
• CT 복부 데이터로 학습하고, 교차 검증, 알려진 구조(MSD spleen), 미지의 구조(MSD colon cancer)에서 평가하며 Dice, Hausdorff distance, 그리고 mean absolute distance를 측정한다.

실험 결과

연구 질문

• RQ1 CNN 기반의 인터랙티브 프레임워크가 최소한의 사용자 입력(단 한 번의 클릭으로도 가능)으로 정확한 세그먼트를 제공할 수 있는가?
• RQ2 학습 중 사용자 인터랙션의 양과 테스트 중의 양이 세그멘테이션 정확도와 안정성에 어떻게 영향을 미치는가?
• RQ3 훈련 중 보지 못한 구조에 대해 이 방법이 어느 정도 일반화되는가(known vs. unknown regions)?
• RQ4 표준 벤치마크(BCV, MSD)에서 제안된 인터랙티브 접근법이 완전 자동 방법과 어떻게 비교되는가?

주요 결과

• 한 번의 클릭으로 초기 세그먼트가 충분히 가능하며, 추가 클릭으로 정확도가 향상된다.
• 모델은 미지의 구조(unknown regions)에 일반화되며, 사용자 인터랙션이 허용될 때 최첨단 방법들과 경쟁하거나 이를 상회한다.
• MSD spleen(known region)에서 적은 인터랙션으로도 결과가 이미 강하고, 더 많은 인터랙션으로 향상되어 기존 방법에 근접하거나 이를 능가한다.
• MSD colon cancer(unknown region)에서 상호작용이 증가함에 따라 일부 특화된 최첨단 방법들보다 더 높은 Dice 점수를 달성한다.
• BCV 테스트 데이터에서 다수의 완전 자동 기준선들을 능가하고, 여러 지표에서 영역별 성능이 경쟁력을 보인다.