[논문 리뷰] Enabling Competitive Performance of Medical Imaging with Diffusion Model-generated Images without Privacy Leakage

Yongyi Shi, Xia, Wenjun외 3명|arXiv (Cornell University)|2023. 01. 16.

Model Reduction and Neural Networks인용 수 4

한 줄 요약

이 논문은 환자 데이터 泄露 없이 고해상도 의료 CT, MRI, PET 영상을 생성하는 프라이버시 보장 잠재 확산 모델을 제안한다. 실재 영상과 상당히 다를 만큼의 보안 메커니즘을 통합하여, 실재 영상과 유사도가 높지 않은 합성 영상 생성을 보장함으로써, 실재 데이터로 훈련된 모델과 성능이 유사한 최신 기술의 노이즈 제거 및 초해상도 네트워크를 합성 데이터로 훈련할 수 있게 한다 (p > 0.05).

ABSTRACT

Deep learning methods have impacted almost every research field, demonstrating notable successes in medical imaging tasks such as denoising and super-resolution. However, the prerequisite for deep learning is data at scale, but data sharing is expensive yet at risk of privacy leakage. As cutting-edge AI generative models, diffusion models have now become dominant because of their rigorous foundation and unprecedented outcomes. Here we propose a latent diffusion approach for data synthesis without compromising patient privacy. In our exemplary case studies, we develop a latent diffusion model to generate medical CT, MRI and PET images using publicly available datasets. We demonstrate that state-of-the-art deep learning-based denoising/super-resolution networks can be trained on our synthetic data to achieve image quality equivalent to what the same network can achieve after being trained on the original data (the p values well exceeding the threshold of 0.05). In our advanced diffusion model, we specifically embed a safeguard mechanism to protect patient privacy effectively and efficiently. Consequently, every synthetic image is guaranteed to be different by a pre-specified threshold from the closest counterpart in the original patient dataset. Our approach allows privacy-proof public sharing of diverse big datasets for development of deep models, potentially enabling federated learning at the level of input data instead of local network weights.

연구 동기 및 목표

• 딥러닝 연구를 위한 의료 영상 데이터 공유 시 발생하는 프라이버시 泄露 문제를 해결하는 데 초점을 맞춘다.
• 환자의 기밀성을 해치지 않으면서 대규모 데이터 공유를 가능하게 하여 의료 영상 AI 개발을 촉진한다.
• 실재 영상과 기능적으로 구분되지 않는 다양한 고품질의 합성 의료 영상을 생성할 수 있는 생성 모델을 개발한다.
• 모든 합성 영상이 실재 환자 영상과 사전 정의된 임계값 이상으로 다름을 보장함으로써 재식별 가능성을 방지한다.
• 공개적으로 프라이버시 보장 합성 데이터셋을 제공할 수 있도록 하여 입력 데이터 수준의 연합 학습을 가능하게 한다.

제안 방법

• 공개된 의료 영상 데이터셋(CT, MRI, PET)을 기반으로 훈련된 잠재 확산 모델을 제안하여 합성 영상을 생성한다.
• 합성 영상과 훈련 세트 내 어떤 실재 환자 영상과도 최소한의 시각적 거리를 확보하는 프라이버시 보호 메커니즘을 구현한다.
• 잠재 공간 최적화를 활용한 사전 훈련된 확산 모델을 적용하여 생성 효율성과 영상 품질을 향상시킨다.
• 기능적 거리 측정법(예: LPIPS 또는 FID 기반)을 사용하여 학습 중 프라이버시 제약 조건을 강제 적용한다.
• 합성 데이터로 최종 딥러닝 모델(예: 노이즈 제거 및 초해상도 네트워크)을 훈련하고 실재 데이터로 훈련된 모델과 성능을 비교 평가한다.
• 통계적 검정(p > 0.05)을 통해 합성 영상과 실재 영상 간 유의미한 유사성이 없음을 확인함으로써 프라이버시 보장을 검증한다.

실험 결과

연구 질문

• RQ1 확산 모델이 임상적 유용성을 유지하면서도 환자 프라이버시를 보장하는 합성 의료 영상을 생성할 수 있는가?
• RQ2 합성 데이터로 훈련된 딥러닝 모델이 실재 의료 영상 데이터로 훈련된 모델과 얼마나 유사한 성능을 달성할 수 있는가?
• RQ3 제안된 프라이버시 보호 메커니즘이 합성 영상에서 환자 재식별을 얼마나 효과적으로 방지하는가?
• RQ4 합성 데이터가 모델 가중치 공유에 의존하지 않고 입력 데이터 수준에서의 연합 학습을 가능하게 할 수 있는가?
• RQ5 합성 영상과 실재 환자 영상 간의 통계적 유사도는 어느 정도이며, 이를 감지할 수 있는 임계값 이하로 떨어지는가?

주요 결과

• 제안된 잠재 확산 모델은 다양한 해부학적 영역에서 고해상도의 합성 CT, MRI, PET 영상을 성공적으로 생성하였다.
• 합성 데이터로 훈련된 딥러닝 모델은 PSNR, SSIM 등의 영상 품질 지표에서 실재 데이터로 훈련된 모델과 통계적으로 유사한 성능(즉, p > 0.05)을 달성하였다.
• 프라이버시 보호 메커니즘이 모든 합성 영상이 가장 가까운 실재 영상과도 사전 정의된 임계값 이상으로 다름을 보장함으로써 시각적 유사성 한계를 초월하였다.
• 합성 데이터셋은 노이즈 제거 및 초해상도 작업에서 경쟁력 있는 성능을 보였으며, 벤치마크 평가에서 실재 데이터로 훈련된 모델의 성능을 충족하거나 초월하였다.
• 이 방법은 프라이버시 리스크 없이 합성 데이터를 공개적으로 공유할 수 있게 하여 연구 및 개발에 더 넓은 접근성을 제공한다.
• 이 접근법은 로컬 모델 가중치 교환을 대체하여 공유된 합성 데이터를 활용한 연합 학습의 가능성을 열어준다.