[논문 리뷰] Contour Transformer Network for One-shot Segmentation of Anatomical Structures

Yuhang Lu, Kang Zheng외 9명|arXiv (Cornell University)|2020. 12. 02.

Medical Image Segmentation Techniques참고 문헌 50인용 수 4

한 줄 요약

이 논문은 그래프 컨volution 네트워크(GCNs)를 사용하여 해부학적 구조 분할을 윤곽선 진화 과정으로 모델링하는 일회성 의료 영상 분할 방법인 컨투어 트랜스포머 네트워크(CTN)를 제안한다. 형태, 외관, 윤곽 일致성 손실을 통해 한 개의 레이블러된 예시와 레이블이 없는 이미지를 활용함으로써, CTN은 완전히 감독되는 방법과 경쟁 가능한 성능을 달성하며, 부분 윤곽 수정을 통한 최소한의 인간-인터랙션 피드백을 통해 이를 뛰어넘는다.

ABSTRACT

Accurate segmentation of anatomical structures is vital for medical image analysis. The state-of-the-art accuracy is typically achieved by supervised learning methods, where gathering the requisite expert-labeled image annotations in a scalable manner remains a main obstacle. Therefore, annotation-efficient methods that permit to produce accurate anatomical structure segmentation are highly desirable. In this work, we present Contour Transformer Network (CTN), a one-shot anatomy segmentation method with a naturally built-in human-in-the-loop mechanism. We formulate anatomy segmentation as a contour evolution process and model the evolution behavior by graph convolutional networks (GCNs). Training the CTN model requires only one labeled image exemplar and leverages additional unlabeled data through newly introduced loss functions that measure the global shape and appearance consistency of contours. On segmentation tasks of four different anatomies, we demonstrate that our one-shot learning method significantly outperforms non-learning-based methods and performs competitively to the state-of-the-art fully supervised deep learning methods. With minimal human-in-the-loop editing feedback, the segmentation performance can be further improved to surpass the fully supervised methods.

연구 동기 및 목표

• 정확한 분할 모델을 훈련하기 위해 전문가가 애너테이션을 한 의료 영상 데이터가 제한적인 문제를 해결하기 위해.
• 대규모 외부 데이터셋에 의존하지 않고, 단 하나의 레이블러진 예시와 일련의 레이블이 없는 이미지만을 요구하는 일회성 분할 방법을 개발하기 위해.
• 부분 윤곽 수정을 통해 성능을 향상시키는 효율적인 인간-인터랙션 메커니즘을 통합하기 위해.
• 다양한 X-ray 영상 간에 일관된 형태와 외관 패턴을 가지는 해부학적 구조의 본질적 규칙성을 활용하여 준감독 학습을 수행하기 위해.
• 예를 들어 관절 간극 측정과 같이 정밀도가 중요한 임상 적용 분야에서 고정밀도 분할을 달성하기 위해.

제안 방법

• 형태와 외관의 진화를 모델링하기 위해 계단식 그래프 컨볼루션 네트워크(GCN)로 유도된 윤곽선 진화 과정으로 분할을 공식화한다.
• 세 가지 미분 가능한 손실 함수를 도입한다: 윤곽선 인지 손실(비디오 특징 공간에서의 외관 유사성에 대해), 윤곽선 굽힘 손실(박편판 스퍼링 에너지를 통한 형태 유사성에 대해), 윤곽선 경계 손실(경계 일관성에 대해).
• 예시의 윤곽선을 초기화로 사용하고, 세 가지 손실 함수를 통해 전역적인 형태와 외관 일관성을 강제함으로써 레이블이 없는 이미지에서 윤곽선을 진화시킨다.
• 수동 보정을 부분 윤곽선으로 간주하고 캄퍼 손실을 적용하여 인간-인터랙션 피드백을 통합한다.
• 외부 레이블이 있는 데이터셋이 필요 없이 레이블이 없는 데이터를 활용하는 준감독 학습 전략을 사용한다.
• 이미지 간의 분할 형태와 경계 특징을 직접 비교할 수 있도록 2차원 윤곽선 기반 표현을 활용한다.

실험 결과

연구 질문

• RQ1 일회성 분할 모델이 단 하나의 레이블러진 예시와 레이블이 없는 데이터만을 사용하여 완전히 감독되는 방법과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ2 다른 X-ray 영상 간의 해부학적 구조에서 형태와 외관의 유사성을 효과적으로 활용하여 준감독 학습을 수행할 수 있는가?
• RQ3 최소한의 애너테이션 노력으로 일회성 분할에 인간-인터랙션 메커니즘이 어떻게 자연스럽게 통합될 수 있는가?
• RQ4 윤곽선 기반 표현과 그래프 컨볼루션 네트워크가 의료 영상에서 해부학적 경계의 진화를 효과적으로 모델링할 수 있는가?
• RQ5 부분 수동 보정을 통합함으로써 일회성 분할 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• CTN은 학습이 없는 일회성 분할 방법보다 크게 뛰어나며, DeepLab과 같은 최첨단 완전 감독 모델과 경쟁 가능한 성능을 보인다. 이는 네 가지 X-ray 분할 작업에서 입증되었다.
• 추가로 레이블이 없는 데이터를 활용함으로써, CTN은 추가 애너테이션 없이도 완전 감독 방법의 성능 수준에 도달한다.
• 부분 윤곽 수정을 통한 인간-인터랙션 피드백을 통합한 후, CTN은 모든 완전 감독 방법을 뛰어넘었으며, 특히 HD 지표에서 뚜렷한 성능 향상을 보였다. 이는 피드백 메커니즘의 효과를 입증한다.
• 모델은 높은 추론 속도를 유지하며, 15.39 FPS로 프luoroscopic 영상 속도(15 FPS)를 초월하여 실시간 임상 적용 가능성을 보여준다.
• 윤곽선 굽힘 손실은 형태 진화를 효과적으로 정규화하여 급격한 형태 변화에 민감하게 하고, 비정상적인 분할을 감소시킨다.
• ImageNet 사전 훈련된 VGG 특징 공간에서 계산된 윤곽선 인지 손실은 주요 구조 패턴을 포착하며, 저수준 영상 변형에 대해 강건하다.