[논문 리뷰] Diffusion Adversarial Representation Learning for Self-supervised Vessel Segmentation

Boah Kim, Yujin Oh외 1명|arXiv (Cornell University)|2022. 09. 29.

Retinal Imaging and Analysis인용 수 30

한 줄 요약

DARL은 확산 모듈과 적대적 생성기를 결합하여 라벨 없이 자가지도 방식으로 혈관 표현을 학습하고 분할 마스크를 생성하며, 여러 데이터셋에서 최첨단 결과를 달성합니다.

ABSTRACT

Vessel segmentation in medical images is one of the important tasks in the diagnosis of vascular diseases and therapy planning. Although learning-based segmentation approaches have been extensively studied, a large amount of ground-truth labels are required in supervised methods and confusing background structures make neural networks hard to segment vessels in an unsupervised manner. To address this, here we introduce a novel diffusion adversarial representation learning (DARL) model that leverages a denoising diffusion probabilistic model with adversarial learning, and apply it to vessel segmentation. In particular, for self-supervised vessel segmentation, DARL learns the background signal using a diffusion module, which lets a generation module effectively provide vessel representations. Also, by adversarial learning based on the proposed switchable spatially-adaptive denormalization, our model estimates synthetic fake vessel images as well as vessel segmentation masks, which further makes the model capture vessel-relevant semantic information. Once the proposed model is trained, the model generates segmentation masks in a single step and can be applied to general vascular structure segmentation of coronary angiography and retinal images. Experimental results on various datasets show that our method significantly outperforms existing unsupervised and self-supervised vessel segmentation methods.

연구 동기 및 목표

• 제한적이거나 라벨이 없는 의료 영상에서 혈관 분할의 필요성과 의의를 제시한다.
• 혈관 의미를 학습하기 위한 확산-적대적 표현 학습 프레임워크(DARL)를 도입한다.
• 전환 가능한 SPADE 계층을 통해 합성 혈관조영 영상과 혈관 분할 마스크를 동시에 생성하도록 한다.
• 노이즈에 대한 강건성과 망막 및 X선 혈관조영 데이터셋 간 일반화를 보여준다.

제안 방법

• 노이즈가 있는 입력으로부터 잠재적 배경 신호를 추정하는 확산 모듈을 통합한다.
• 전환 가능한 SPADE 계층을 갖춘 생성 모듈을 사용해 혈관 마스크와 합성 혈관조영 영상을 생성한다.
• 실제와 가짜 분할 마스크 및 혈관조영 영상을 구분하기 위해 두 개의 판별기를 활용한다.
• 확산 손실, 적대적 손실 및 순환 일관성 손실과 함께 엔드투엔드로 학습한다.
• 추론은 확산 모듈의 잠재 특징을 이용한 한 단계 분할을 수행한다(비반복적).

실험 결과

연구 질문

• RQ1 레이블이 없는 경우 비반복 확산 기반 모델이 분할을 위한 혈관 관련 표현을 학습할 수 있는가?
• RQ2 전환 가능한 SPADE 계층을 활용한 적대적 생성이 분할 및 합성 혈관조영 영상의 질을 함께 개선하는가?
• RQ3 방법이 데이터셋 및 모달리티(혈관조영 및 망막 영상) 전반에서 얼마나 잘 일반화되는가?
• RQ4 의료 혈관에서 자주 관찰되는 노이즈 및 다양한 영상 조건에 대해 방법이 강건한가?
• RQ5 확산 모듈, S-SPADE, 순환 손실의 각 구성요소가 전반 성능에 얼마나 기여하는가?

주요 결과

• DARL은 X-ray 관상동맥 조영 및 망막 데이터셋에서 비지도 및 자기지도 기반 기준값보다 우수하다.
• 외부 XCA 테스트 및 모달리티 간 망막 데이터셋에서 Dice, IoU 및 정밀도 점수가 더 높게 나타난다.
• 제거 실험은 확산 모듈, S-SPADE, 순환 손실 각각이 성능 향상에 기여함을 보여준다.
• DARL은 가우시안 잡음에 대한 강건성을 보이며 다양한 잡음 수준에서도 합리적인 분할을 유지한다.
• 확산 경로의 잠재 특징이 혈관 구조를 강조하여 라벨 없이도 효과적인 분할을 지지한다.