[論文レビュー] Triggering hallucinations in model-based MRI reconstruction via adversarial perturbations

Suna Buğday, Yvan Saeys+1 more|arXiv (Cornell University)|Feb 20, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

この論文は、最先端のモデルベースのMRI再構成（UNetおよびE2E-VarNet）が、人間には知覚できない adversarial perturbations に対して高度に脆弱であり、誤認を引き起こす幻覚を誘発することを示しており、標準的な指標で検出することは難しい。

ABSTRACT

Generative models are increasingly used to improve the quality of medical imaging, such as reconstruction of magnetic resonance images and computed tomography. However, it is well-known that such models are susceptible to hallucinations: they may insert features into the reconstructed image which are not actually present in the original image. In a medical setting, such hallucinations may endanger patient health as they can lead to incorrect diagnoses. In this work, we aim to quantify the extent to which state-of-the-art generative models suffer from hallucinations in the context of magnetic resonance image reconstruction. Specifically, we craft adversarial perturbations resembling random noise for the unprocessed input images which induce hallucinations when reconstructed using a generative model. We perform this evaluation on the brain and knee images from the fastMRI data set using UNet and end-to-end VarNet architectures to reconstruct the images. Our results show that these models are highly susceptible to small perturbations and can be easily coaxed into producing hallucinations. This fragility may partially explain why hallucinations occur in the first place and suggests that a carefully constructed adversarial training routine may reduce their prevalence. Moreover, these hallucinations cannot be reliably detected using traditional image quality metrics. Novel approaches will therefore need to be developed to detect when hallucinations have occurred.

研究の動機と目的

• ニューラルネットワークを用いたモデルベースのMRI再構成における幻覚の発生量を定量化する。
• 不可知的な入力摂動で再構成へ標的ディテールを注入する攻撃を実証する。
• 伝統的な画像品質指標が幻覚を検出できるかを評価する。
• 頑健なMRI再構成のための防御および検出アプローチに関する知見を提供する。

提案手法

• 入力k-spaceデータへ不可視の摂動を作成し、マスク領域内にターゲットディテールを再構成へ含めさせる。
• L∞予算の下で反復的な BIMライク手法を用いて摂動を最適化する。
• ターゲット再構成とマスクを用いて幻覚挿入と元の再構成への忠実性のバランスを取る。
• UNetとE2E-VarNet再構成を用い、fastMRI脳・膝データで摂動を評価する。
• 摂動と元の入力・再構成を比較してPSNR、NRMSE、SSIMで成功を測定する。

(a)

実験結果

リサーチクエスチョン

• RQ1 不可知的な摂動はモデルベースMRI再構成に幻覚を誘発できるか。
• RQ2 幻覚は標準的な画像品質指標（PSNR、NRMSE、SSIM）で検出できるか。
• RQ3 モデルベースのMRI再構成は小さな入力摂動に対して不安定性を示すか。
• RQ4 摂動を用いて幻覚検出や緩和のデータセットを作成できるか。

主な発見

Model	Data	PSNR	NRMSE	SSIM
UNet	sc-knee	55.60 (6.18)	0.01 (0.01)	1.00 (0.00)
	34.24 (10.10)	0.17 (0.33)	0.95 (0.10)
UNet	mc-knee	50.35 (5.74)	0.02 (0.01)	1.00 (0.00)
	28.48 (4.62)	0.23 (0.13)	0.82 (0.13)
UNet	mc-brain	61.72 (4.58)	0.01 (0.00)	1.00 (0.00)
	26.00 (11.06)	0.76 (1.07)	0.68 (0.34)
VarNet	mc-knee	50.69 (6.24)	0.02 (0.01)	1.00 (0.01)
	31.70 (1.70)	0.42 (0.18)	0.93 (0.03)
VarNet	mc-brain	60.10 (4.44)	0.01 (0.00)	1.00 (0.00)
	41.72 (7.48)	0.10 (0.10)	0.98 (0.03)

• 敵対的摂動は膝・脳データ全体でUNetおよびE2E-VarNetの再構成に幻覚を引き起こす。
• 摂動によって再構成が大きく歪む一方、入力摂動は視覚的には知覚不能のまま。
• Perturbed再構成のPSNR、NRMSE、SSIMの分布はクリーン再構成と大きく分離するが、いくらかの重なりは残る。
• 摂動された入力と再構成を比較した場合、標準指標では幻覚を検出しづらい。
• 定性的結果として、挿入されたディテールがターゲット領域を超えた広範な歪みを引き起こすことがある。
• 頑健性を高めるには敵対的訓練や原理的防御が必要である。

(a)