[논문 리뷰] Unsupervised Medical Image Segmentation with Adversarial Networks: From Edge Diagrams to Segmentation Maps

Umaseh Sivanesan, Luis H. Braga외 2명|arXiv (Cornell University)|2019. 11. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 65인용 수 13

한 줄 요약

이 논문은 GAN을 사용하여 에지 다이어그램에서 합성 훈련 데이터를 생성함으로써 실존하는 레이블이 없는 데이터로도 고품질의 세분화를 가능하게 하는 비지도 의료 영상 세분화 방법을 제안한다. 이는 신장 초음파 및 피부 병변 데이터셋에서 지도 학습 모델에 근접한 성능을 달성하며, 미세조정을 위해 오직 10%의 레이블 데이터만 필요로 한다.

ABSTRACT

We develop and approach to unsupervised semantic medical image segmentation that extends previous work with generative adversarial networks. We use existing edge detection methods to construct simple edge diagrams, train a generative model to convert them into synthetic medical images, and construct a dataset of synthetic images with known segmentations using variations on extracted edge diagrams. This synthetic dataset is then used to train a supervised image segmentation model. We test our approach on a clinical dataset of kidney ultrasound images and the benchmark ISIC 2018 skin lesion dataset. We show that our unsupervised approach is more accurate than previous unsupervised methods, and performs reasonably compared to supervised image segmentation models. All code and trained models are available at https://github.com/kiretd/Unsupervised-MIseg.

연구 동기 및 목표

• 실제로 레이블이 부족한 의료 영상 데이터의 도전 과제를 해결하기 위해 완전히 비지도 세분화 프레임워크를 구축하기 위해.
• 의료 영상에서 장기의 기하학적 일관성을 활용하여 단순한 에지 다이어그램에서 현실적인 합성 훈련 데이터를 생성하기 위해.
• 이러한 합성 데이터로 지도 학습 세분화 모델을 훈련하고, 실제 의료 영상에 적용함으로써 실제 데이터에 대한 진짜 레이블이 필요 없도록 하기 위해.
• 실제 임상 데이터셋에서 성능을 평가하고, 비지도 및 지도 학습 기반의 기준 모델들과 비교하기 위해.
• 최소한의 레이블 데이터를 사용하여 반지도 미세조정을 통해 세분화 정확도를 향상시키기 위해.

제안 방법

• 실제 의료 영상에 사전 훈련된 에지 검출 방법을 사용하여 에지 다이어그램을 구성한다.
• 조건부 GAN을 사용하여 이러한 에지 다이어그램에서 합성 의료 영상을 생성하고, 다이어그램에서 유도된 대응되는 세분화 맵을 생성한다.
• 추출된 에지 다이어그램에 다양한 변형을 적용하여 다양성과 일반화 능력을 향상시켜 합성 데이터셋을 구축한다.
• 알려진 진짜 세분화 결과가 있는 합성 데이터로 지도 학습 세분화 모델(U-Net 또는 Mask-RCNN)을 훈련시킨다.
• 실제 테스트 이미지(신장 초음파 및 ISIC 2018 피부 병변 데이터셋)에서 훈련된 모델을 평가한다.
• 성능 향상을 위해 소량의 실제 레이블 데이터를 사용하여 반지도 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 에지 다이어그램이 정확한 세분화 맵을 가진 현실적인 합성 의료 영상을 생성하기 위한 강력한 사전 지식으로 사용될 수 있는가?
• RQ2 순수하게 합성 데이터로 훈련된 세분화 모델이 실제 의료 영상 세분화 작업에서 경쟁 가능한 성능을 달성할 수 있는가?
• RQ3 이 비지도 방법의 성능가 기존의 비지도 및 지도 학습 접근법과 비교하여 실제 임상 데이터셋에서 어떻게 평가되는가?
• RQ4 작은 양의 실제 레이블 데이터가 비지도 모델의 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 비지도 모델의 실패 사례는 어떤가? 이는 영상 아티팩트나 복잡한 해부학적 구조와 어떤 관련이 있는가?

주요 결과

• 신장 초음파 데이터셋에서 비지도 방법은 F1 스코어 0.81 (±0.09), mIoU 0.69 (±0.12), pACC 0.90 (±0.05)를 기록했으며, W-net과 같은 이전 비지도 방법들을 능가했다.
• 10%의 레이블 데이터를 사용한 반지도 버전은 F1 0.88 (±0.08)과 mIoU 0.80 (±0.11)을 달성했으며, 완전히 지도 학습된 U-Net(F1: 0.91, mIoU: 0.84)에 근접한 성능을 보였다.
• ISIC 2018 피부 병변 데이터셋에서 비지도 방법은 F1 0.830, mIoU 0.753, th-mIoU 0.683을 기록했으며, 이는 이전의 비지도 방법들을 능가하고 지도 학습 기반 기준 모델에 근접한 성능을 보였다.
• 신장에 대해 0.92, 피부 병변에 대해 0.947의 높은 특이도를 보였지만, 민감도는 중간 수준(0.87 및 0.835)이었으며, 이는 작은 영역을 과도하게 세분화하거나 누락하는 경향이 있음을 시사했다.
• 실패 사례의 주요 원인은 렌즈나 필름과 같은 아티팩트였으며, 모델이 병변의 기저 구조 대신 이러한 아티팩트를 잘못 세분화했다.
• 매끄럽고 볼록한 에지 다이어그램을 사용했음에도 불구하고, 비볼록 및 비정규 형태의 경계로 일반화가 가능했으며, 이는 기하학적 복잡성에 대해 강건함을 시사했다.