[논문 리뷰] Triggering hallucinations in model-based MRI reconstruction via adversarial perturbations

Suna Buğday, Yvan Saeys외 1명|arXiv (Cornell University)|2026. 02. 20.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

본 논문은 최첨단 모델 기반 MRI 재구성(UNet 및 E2E-VarNet)이 미세하게 보이지 않는 적대적 섭동에 매우 취약하여 환각을 유발하며, 이는 표준 지표로 탐지하기 어렵다.

ABSTRACT

Generative models are increasingly used to improve the quality of medical imaging, such as reconstruction of magnetic resonance images and computed tomography. However, it is well-known that such models are susceptible to hallucinations: they may insert features into the reconstructed image which are not actually present in the original image. In a medical setting, such hallucinations may endanger patient health as they can lead to incorrect diagnoses. In this work, we aim to quantify the extent to which state-of-the-art generative models suffer from hallucinations in the context of magnetic resonance image reconstruction. Specifically, we craft adversarial perturbations resembling random noise for the unprocessed input images which induce hallucinations when reconstructed using a generative model. We perform this evaluation on the brain and knee images from the fastMRI data set using UNet and end-to-end VarNet architectures to reconstruct the images. Our results show that these models are highly susceptible to small perturbations and can be easily coaxed into producing hallucinations. This fragility may partially explain why hallucinations occur in the first place and suggests that a carefully constructed adversarial training routine may reduce their prevalence. Moreover, these hallucinations cannot be reliably detected using traditional image quality metrics. Novel approaches will therefore need to be developed to detect when hallucinations have occurred.

연구 동기 및 목표

• 신경망을 이용한 모델 기반 MRI 재구성에서 얼마나 많은 환각이 발생하는지 정량화한다.
• 보이지 않는 입력 섭동으로 재구성에 표적 세부 정보를 주입하는 적대적 공격을 시연한다.
• 전통적 이미지 품질 지표가 환각을 탐지할 수 있는지 평가한다.
• 강건한 MRI 재구성을 위한 방어 및 탐지 접근법에 대한 통찰을 제공한다.

제안 방법

• 입력 k-공간 데이터에 보이지 않는 섭동을 만들어 재구성에 마스크된 영역 내에 표적 세부 정보를 포함하도록 한다.
• L-무한대 예산하에 반복적 BIM 유사 절차를 통해 섭동을 최적화한다.
• 표적 재구성과 마스크를 사용해 환각 삽입과 원래 재구성에 대한 충실도 사이의 균형을 맞춘다.
• UNet 및 E2E-VarNet 재구성을 사용해 fastMRI 뇌 및 무릎 데이터에 대한 섭동을 평가한다.
• 섭동된 입력 및 재구성과 원래 입력 간 비교를 통해 PSNR, NRMSE 및 SSIM으로 성공 여부를 측정한다.

(a)

실험 결과

연구 질문

• RQ1 보이지 않는 섭동이 모델 기반 MRI 재구성에서 환각을 유발할 수 있는가?
• RQ2 환각이 표준 이미지 품질 지표(PSNR, NRMSE, SSIM)로 탐지될 수 있는가?
• RQ3 소량의 입력 섭동에 대해 모델 기반 MRI 재구성이 불안정성을 보이는가?
• RQ4 이 섭동을 환각 탐지 또는 완화를 위한 데이터셋 형성에 사용할 수 있는가?

주요 결과

• 적대적 섭동이 무릎 및 뇌 데이터에서 UNet 및 E2E-VarNet 재구성에 환각을 유발한다.
• 섭동으로 인한 재구성의 왜곡은 뚜렷하지만 입력 섭동은 시각적으로 보이지 않는 상태로 남는다.
• 섭동 재구성의 PSNR, NRMSE, SSIM 분포는 깨끗한 재구성과 대체로 구분되지만 일부 중첩이 남아 있다.
• 보정된 입력과 재구성을 비교할 때 표준 지표로 환각을 탐지하기 어렵다.
• 정성적 결과는 삽입된 세부 정보가 표적 영역을 넘어 더 넓은 왜곡을 유발할 수 있음을 시사한다.
• 강건성을 높이려면 적대적 학습이나 원칙적 방어가 필요하다고 제안한다.

(a)