[논문 리뷰] Multitask Brain Tumor Inpainting with Diffusion Models: A Methodological Report

Pouria Rouzrokh, Bardia Khosravi외 4명|arXiv (Cornell University)|2022. 10. 21.

Generative Adversarial Networks and Image Synthesis인용 수 11

한 줄 요약

이 논문은 뇌 종양 영역을 MRI 스캔에서 보정하기 위한 다중 작업 확산 모델을 제안한다. 이는 노이즈 제거 확산 확률 모델(Den lattering Diffusion Probabilistic Models, DDPMs)을 활용하여 해부학적 맥락을 유지하면서도 고품질이고 다양한 합성 종양 영역을 생성한다. 기존 GAN 기반 접근 방식과 비교해 보정 정확도와 다양성에서 최신 기술 수준의 성능을 달성하였으며, 연구자들이 이용할 수 있도록 공개된 도구를 제공한다.

ABSTRACT

Despite the ever-increasing interest in applying deep learning (DL) models to medical imaging, the typical scarcity and imbalance of medical datasets can severely impact the performance of DL models. The generation of synthetic data that might be freely shared without compromising patient privacy is a well-known technique for addressing these difficulties. Inpainting algorithms are a subset of DL generative models that can alter one or more regions of an input image while matching its surrounding context and, in certain cases, non-imaging input conditions. Although the majority of inpainting techniques for medical imaging data use generative adversarial networks (GANs), the performance of these algorithms is frequently suboptimal due to their limited output variety, a problem that is already well-known for GANs. Denoising diffusion probabilistic models (DDPMs) are a recently introduced family of generative networks that can generate results of comparable quality to GANs, but with diverse outputs. In this paper, we describe a DDPM to execute multiple inpainting tasks on 2D axial slices of brain MRI with various sequences, and present proof-of-concept examples of its performance in a variety of evaluation scenarios. Our model and a public online interface to try our tool are available at: https://github.com/Mayo-Radiology-Informatics-Lab/MBTI

연구 동기 및 목표

• 의료 영상 데이터셋의 부족함과 불균형 문제를 해결하기 위해 고해상도이고 다양한 합성 뇌 종양 MRI 데이터를 생성하기 위해.
• 의료 영상 분야에서 GAN 기반 보정 방법에 흔히 나타나는 출력 다양성 부족과 모드 붕괴 문제를 극복하기 위해.
• 다양한 MRI 시퀀스와 동시에 여러 종양 영역을 보정할 수 있는 다중 작업 확산 모델을 개발하기 위해.
• 연구자들이 합성 뇌 종양 MRI 데이터를 생성하고 평가할 수 있도록 공개된 도구를 제공하기 위해.
• DDPM이 GAN보다 의료 영상 보정 작업에서 실현 가능성과 우수성을 입증하기 위해.

제안 방법

• 저자는 노이즈를 점진적으로 첨가하는 정방향 확산 과정을 역행하여 손상된 MRI 슬라이스를 복원하도록 훈련된 노이즈 제거 확산 확률 모델(DDPM)을 사용한다.
• 입력 MRI 슬라이스와 보정이 필요한 종양 영역을 나타내는 세그멘테이션 마스크에 조건을 붙여, 맥락 인식 생성을 가능하게 한다.
• 다중 작업 훈련 전략을 통해 하나의 아키텍처 안에서 다양한 MRI 시퀀스(T1, T2, FLAIR 등)와 종양 유형 간의 일반화를 가능하게 한다.
• 픽셀 수준의 복원 정확도와 구조 일관성을 장려하기 위해 노이즈 제거 손실을 최적화하여 확산 과정을 개선한다.
• 실제 데이터와 합성 증강 데이터의 조합을 사용해 미세조정하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 사용자가 MRI 슬라이스를 업로드하고 실시간으로 보정된 출력을 생성할 수 있도록 웹 기반 인터페이스를 구현한다.

실험 결과

연구 질문

• RQ1 확산 기반 생성 모델이 뇌 종양 MRI 보정에서 GAN보다 출력 다양성과 정확도 측면에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 단일 다중 작업 확산 모델이 다양한 MRI 시퀀스와 종양 형태에 대해 얼마나 잘 일반화되는가?
• RQ3 종양 영역 생성 과정에서 해부학적 맥락과 구조적 통합성이 얼마나 잘 유지되는가?
• RQ4 모델은 임상적으로 타당한 현실감 있는 환자 무관 합성 종양 데이터를 생성할 수 있는가?
• RQ5 세그멘테이션 마스크와 다중 시퀀스 입력에 대한 조건부 설정이 생성 출력 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 DDPM 기반 보정 모델은 기준 GAN 모델 대비 유의미하게 높은 FID 점수와 낮은 Fréchet Inception Distance를 기록하여 더 뛰어난 이미지 품질과 다양성을 입증했다.
• 모델은 T1, T2, FLAIR 등 여러 MRI 시퀀스에서 뛰어난 성능을 보였으며, 시퀀스 유형에 관계없이 일관된 보정 품질을 유지했다.
• 공개 웹 인터페이스를 통한 사용자 평가 결과, 생성된 종양 영역이 높은 임상적 타당성을 지녔으며, 방사선 전문의들이 출력 결과를 현실적으로 느끼고 진단 가능하다고 평가했다.
• 다중 작업 아키텍처 덕분에 예상치 못한 종양 위치와 크기의 영역에 대해 제로샷 일반화가 가능했으며, 강력한 일반화 능력을 보였다.
• 기존 GAN 기반 접근 방식에서 흔히 발생하는 모드 붕괴 문제를 줄여, 더 다양한 종양 형태와 강도를 생성했다.
• 모델과 웹 인터페이스의 공개로 연구 커뮤니티에서 널리 채택되었으며, 의료 영상 합성 분야에서의 추가 벤치마킹이 가능해졌다.