[논문 리뷰] Bi-parametric prostate MR image synthesis using pathology and sequence-conditioned stable diffusion

Shaheer U. Saeed, Tom Syer외 7명|arXiv (Cornell University)|2023. 03. 03.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 병리학적 소견 및 시퀀스 조건을 갖춘 안정된 확산 모델을 사용하여 텍스트 또는 쌍체 이미지 조건 하에 실제적인 다중 시퀀스 MRI 영상을 생성하는 양측성 프로스타트 MRI 합성 방법을 제안한다. 이는 방사선 전문의가 실제 영상과 합성 영상 간을 구별하는 데 59.4%의 정확도를 보이며 높은 현실감을 달성했고, 방사선 학습 및 데이터 증강 분야에서 강력한 잠재력을 보이며 기계학습 모델 성능을 5.8% 향상시켰다 (p=0.004).

ABSTRACT

We propose an image synthesis mechanism for multi-sequence prostate MR images conditioned on text, to control lesion presence and sequence, as well as to generate paired bi-parametric images conditioned on images e.g. for generating diffusion-weighted MR from T2-weighted MR for paired data, which are two challenging tasks in pathological image synthesis. Our proposed mechanism utilises and builds upon the recent stable diffusion model by proposing image-based conditioning for paired data generation. We validate our method using 2D image slices from real suspected prostate cancer patients. The realism of the synthesised images is validated by means of a blind expert evaluation for identifying real versus fake images, where a radiologist with 4 years experience reading urological MR only achieves 59.4% accuracy across all tested sequences (where chance is 50%). For the first time, we evaluate the realism of the generated pathology by blind expert identification of the presence of suspected lesions, where we find that the clinician performs similarly for both real and synthesised images, with a 2.9 percentage point difference in lesion identification accuracy between real and synthesised images, demonstrating the potentials in radiological training purposes. Furthermore, we also show that a machine learning model, trained for lesion identification, shows better performance (76.2% vs 70.4%, statistically significant improvement) when trained with real data augmented by synthesised data as opposed to training with only real images, demonstrating usefulness for model training.

연구 동기 및 목표

• 제어된 병변 존재 및 시퀀스 유형을 갖춘 실제적이고 임상적으로 관련성이 있는 다중 시퀀스 프로스타트 MRI 영상 생성의 과제를 해결하기 위해.
• GAN 기반 방법의 한계, 예를 들어 모드 붕괴 및 불안정한 훈련과 같은 미세하거나 저도달된 프로스타트 병변을 합성할 때 발생하는 문제를 극복하기 위해.
• 텍스트(예: 병변 존재) 또는 쌍체 이미지(예: T2W에서 DWI로의 합성) 조건을 통해 임상의 및 기계학습 모델 훈련을 위한 탄력적인 데이터 생성을 가능하게 하기 위해.
• 블라인드 전문가 평가를 통해 생성된 영상의 현실감을 검증하고, 기계학습 모델 성능 향상에 대한 그 유효성을 평가하기 위해.
• 복잡한 다중 모odal 임상 조건을 갖춘 의료 영상 합성을 위한 확산 모델의 가능성을 탐색하기 위해.

제안 방법

• 안정된 확산 모델(SD)을 변형하여 프로스타트 MRI 합성을 위한 이미지 기반 및 텍스트 기반 조건을 가능하게 한다.
• 이를 통해 영상 시퀀스(예: T2W, ADC)와 의심 병변 존재 여부(예: PIRADS ≥3)를 동시에 제어할 수 있는 새로운 조건화 메커니즘을 도입한다.
• 실제 쌍체 데이터(예: T2W 및 DWI)를 사용하여 모델이 해당 영상 쌍을 생성하도록 훈련시켜, 한 모odal에서 다른 모달로의 조건부 합성을 가능하게 한다.
• 텍스트 프롬프트를 사용하여 병변 상태(예: '병변 있음' 또는 '병변 없음')와 시퀀스 유형을 지정하여 생성 과정을 안내한다.
• 단일 NVIDIA Tesla V100 GPU를 사용하여 실질적 병변이 의심되는 환자로부터의 2D axial 슬라이스 데이터를 기반으로 약 8일간 훈련한다.
• 동일한 GPU에서 영상 합성 추론은 평균 10초 내외로 이루어져 훈련 및 증강 작업에 실용적인 구현이 가능하다.

실험 결과

연구 질문

• RQ1 텍스트(예: 병변 존재) 및 영상 시퀀스 조건을 갖춘 안정된 확산 모델이 실제적인 이중 매개변수 프로스타트 MRI 영상을 생성할 수 있는가?
• RQ2 블라인드 조건에서 전문 방사선 전문의가 평가했을 때 생성된 영상의 현실감은 어떠한가?
• RQ3 실제 영상 대신 합성 영상을 사용할 경우 방사선 전문의의 병변 탐지 성능은 유지되는가?
• RQ4 합성 영상은 기계학습 모델의 프로스타트 병변 탐지 성능 향상에 어느 정도 기여하는가?
• RQ5 현재 모델의 해부학적 영역 제어 및 병변 국소화 측면에서의 한계는 무엇인가?

주요 결과

• 모든 시퀀스에서 실제 영상과 합성 영상 간을 구별하는 데 전문의가 달성한 정확도는 59.4%에 불과하여, 이는 높은 현실감을 나타낸다(우연의 정확도: 50%).
• 실제 영상의 병변 식별 정확도는 60.4%였고, 합성 영상의 경우 62.6%로, 뿐만 아니라 둘 간의 차이는 단지 2.1%p에 불과하여 강력한 임상적 현실감을 입증한다.
• 실제 데이터에 합성 데이터를 증강하여 훈련한 기계학습 모델은 병변 탐지에서 76.2%의 정확도를 기록했으며, 실제 데이터만으로 훈련한 경우 70.4%에 비해 통계적으로 유의미한 향상(오차: p=0.004)을 보였다.
• 모델은 시퀀스 간 일관성 있는 성능을 보였으며, 실제 영상 대비 합성 영상 분류의 총 정확도는 0.594였고, ADC의 AUC는 0.688, T2W의 AUC는 0.594였다.
• 합성 영상 품질은 cGAN 기반 기준 모델보다 뛰어나며, 선형선형화나 색소성 분해 등의 잡음이 훨씬 적었다.
• 현재 모델은 위치 조건화가 부족하여 주로 중심 부위의 프로스타트 영역을 생성하고 있어, 향후 해부학적 국소화 제어에 대한 향후 연구가 필요하다고 제안된다.