[논문 리뷰] Blood Vessel Geometry Synthesis using Generative Adversarial Networks

Jelmer M. Wolterink, Tim Leiner외 1명|arXiv (Cornell University)|2018. 04. 12.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 12

한 줄 요약

이 논문은 관상동맥 중심선의 1D 매개변수화를 사용하여 잠재 공간에서 현실적이고 다양한 혈관 해부학적 구조를 합성하는 워샤르스타인 GAN을 제안한다. 혈관 해부학적 구조를 중심축을 따라 4채널 1D 신호로 표현함으로써, 모델은 해부학적으로 타당한 관상동맥을 생성하고 길이와 같은 특성에 기반한 조건부 합성을 가능하게 하여 실제 해부학적 다양성을 반영하면서도 구조적 연속성을 확보한다.

ABSTRACT

Computationally synthesized blood vessels can be used for training and evaluation of medical image analysis applications. We propose a deep generative model to synthesize blood vessel geometries, with an application to coronary arteries in cardiac CT angiography (CCTA). In the proposed method, a Wasserstein generative adversarial network (GAN) consisting of a generator and a discriminator network is trained. While the generator tries to synthesize realistic blood vessel geometries, the discriminator tries to distinguish synthesized geometries from those of real blood vessels. Both real and synthesized blood vessel geometries are parametrized as 1D signals based on the central vessel axis. The generator can optionally be provided with an attribute vector to synthesize vessels with particular characteristics. The GAN was optimized using a reference database with parametrizations of 4,412 real coronary artery geometries extracted from CCTA scans. After training, plausible coronary artery geometries could be synthesized based on random vectors sampled from a latent space. A qualitative analysis showed strong similarities between real and synthesized coronary arteries. A detailed analysis of the latent space showed that the diversity present in coronary artery anatomy was accurately captured by the generator. Results show that Wasserstein generative adversarial networks can be used to synthesize blood vessel geometries.

연구 동기 및 목표

• 의료 영상 분석을 위한 훈련 데이터 증강을 위해 데이터 기반 방법을 개발하여 현실적인 3D 혈관 해부학적 구조를 합성하는 것.
• 휴리스틱에 의존하고 해부학적 다양성을 포착하지 못하는 모델 기반 접근법의 한계를 극복하는 것.
• 길이와 같은 특정 특성을 가진 혈관의 조건부 합성을 가능하게 하는 조건부 GAN 프레임워크를 제공하는 것.
• 3D 볼록체화 대신 1D 매개변수화를 사용하여 구조적 연속성을 확보하고 분할된 출력을 방지하는 것.
• 학습된 잠재 공간의 분리된 구조를 분석하고, 생성된 구조의 현실성과 다양성을 검증하는 것.

제안 방법

• 3D 관상동맥 해부학적 구조를 중심혈관 축을 따라 위치, 반지름, 방향성을 포함하는 1D 신호로 매개변수화한다.
• 확대된 수신장역할을 가진 컨볼루션 신경망으로 구현된 생성자와 판별자를 갖는 조건부 워샤르스타인 GAN을 사용한다.
• 딥러닝 추적 방법을 사용하여 임상적 CCTA 스캔에서 추출한 4,412개의 실제 관상동맥 중심선을 기반으로 GAN을 훈련시킨다.
• 목표 혈관 길이를 포함한 특성 벡터를 생성자에 조건부로 제공하여 제어 가능한 합성을 가능하게 한다.
• 학습 안정성 향상과 고해상도 출력 생성을 위해 WGAN-GP 손실을 최적화한다.
• 학습된 잠재 공간에서 샘플링하여 해부학적으로 타당한 새로운 다양성을 가진 관상동맥 해부학적 구조를 생성한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반의 생성 모델은 임상 데이터로부터 실제 관상동맥 해부학적 구조의 기저 분포를 학습할 수 있는가?
• RQ2 1D 매개변수화를 사용하여 워샤르스타인 GAN은 구조적으로 연속적이며 해부학적으로 타당한 3D 혈관 해부학적 구조를 생성할 수 있는가?
• RQ3 GAN의 잠재 공간이 혈관 길이 및 위치와 같은 의미 있는 해부학적 변형을 얼마나 잘 분리하고 표현할 수 있는가?
• RQ4 조건부 생성은 특정 혈관 특성(예: 길이)을 제어하면서도 현실성을 유지하는 데 효과적으로 사용될 수 있는가?
• RQ5 합성된 혈관의 통계적 특성은 실제 훈련 데이터와 비교해 어떻게 다른가?

주요 결과

• 생성자는 시각적 평가에서 실제 구조와 구분되지 않는 관상동맥 해부학적 구조를 성공적으로 합성하였다.
• 잠재 공간은 실제 관상동맥의 해부학적 다양성을 반영하였으며, 좌측 또는 우측 관상동맥 수관과 같은 다양한 해부학적 하위형태에 해당하는 별도의 영역을 보였다.
• 조건부 합성으로 혈관 길이 제어가 가능하여, 250 mm 길이의 혈관은 주로 우측 관상동맥 기원에서 생성되었으며, 실제 해부학적 가능성과 일치하였다.
• 모델은 훈련 세트에 존재하지 않는 새로운 해부학적 구조를 생성하여 기억 초월 일반화 능력을 입증하였다.
• 1D 매개변수화로 인해 구조적 연속성이 보장되어, 3D 볼록체 기반 GAN에서 흔히 발생하는 분할 문제를 방지하였다.
• WGAN-GP 학습 체제로 안정적인 최적화와 고품질의 샘플이 확보되었으며, 정성적 및 정량적 분석을 통해 확인되었다.