[论文解读] Generating fMRI volumes from T1-weighted volumes using 3D CycleGAN

David Abramian, Anders Eklund|arXiv (Cornell University)|Jul 19, 2019

Advanced Neuroimaging Techniques and Applications参考文献 16被引用 10

一句话总结

本文提出一种3D CycleGAN框架，用于在无配对数据的情况下，从T1加权MRI体积合成功能性MRI（fMRI）体积，反之亦然。该方法利用循环一致性对抗网络学习域间转换，实现了逼真的fMRI合成，支持真实地面真值配准评估与潜在的畸变校正。模型在1000个功能连接组项目提供的全3D体积（152×180×120）上进行训练，使用V100 GPU耗时24天。

ABSTRACT

Registration between an fMRI volume and a T1-weighted volume is challenging, since fMRI volumes contain geometric distortions. Here we present preliminary results showing that 3D CycleGAN can be used to synthesize fMRI volumes from T1-weighted volumes, and vice versa, which can facilitate registration.

研究动机与目标

• 为解决功能性与解剖性MRI之间因几何畸变和对比度差异导致的fMRI-T1配准挑战。
• 从T1加权图像生成逼真、无畸变的fMRI体积，作为评估配准算法的地面真值。
• 探索3D CycleGAN在神经影像中无配对、跨模态图像转换的可行性，具体为从T1到fMRI及反向转换。
• 通过将合成fMRI体积用作非线性配准的参考，实现畸变校正。
• 在未来工作中比较全体积3D训练与子体积方法的差异，重点保留3D空间相关性。

提出的方法

• 该方法采用3D CycleGAN，包含两个生成器（T1-to-fMRI与fMRI-to-T1）和两个判别器（分别用于每个域的真实与合成图像），通过对抗损失进行训练。
• 循环一致性损失确保从域A到B再返回A的转换近似于原始输入：G_B2A(G_A2B(I_A)) ≈ I_A 与 G_A2B(G_B2A(I_B)) ≈ I_B。
• 生成器使用3D卷积，包含6个残差块、下采样与上采样层，激活函数为ReLU与tanh。
• 判别器使用3D卷积，LeakyReLU（0.2）激活，采用感受野为51×51×51的PatchGAN判别器，用于分类局部图像块。
• 数据预处理包括使用FSL的epi_reg与flirt将fMRI与T1体积配准至MNI 152模板，随后裁剪为152×180×120体素。
• 数据增强对160名训练受试者中的每个性质应用10次随机3D旋转（均值0°，标准差10°），生成1,760个增强后的训练体积。

实验结果

研究问题

• RQ1 3D CycleGAN能否在无配对训练数据的情况下，有效学习从T1加权MRI体积合成逼真fMRI体积？
• RQ2 与子体积相比，使用全3D体积是否能提升生成fMRI图像的质量与一致性？
• RQ3 合成的fMRI体积能否作为评估T1-fMRI配准算法的可靠地面真值？
• RQ4 3D CycleGAN在多大程度上能保留解剖结构，并处理fMRI数据中的严重几何畸变？
• RQ5 在跨切片连续性与结构保真度方面，3D CycleGAN与2D方法相比表现如何？

主要发现

• 3D CycleGAN成功从T1加权图像生成了逼真的fMRI体积，视觉质量表明解剖结构保留合理。
• 合成的fMRI体积在各切片上表现出一致的对比度与空间模式，尤其在畸变较小的上部脑区表现明显。
• 在下部脑区，由于几何畸变更严重，模型学习到了复杂的非线性变换，表明对强度与空间变化具有鲁棒性。
• 训练过程使用全3D体积（152×180×120）与小批量大小1，在Nvidia Tesla V100 GPU（32 GB内存）上耗时24天。
• 该方法证明了可利用无配对、未配准的T1与fMRI体积实现跨模态转换，为配准基准测试等应用提供了可能。
• 结果表明，合成fMRI体积可作为非线性配准的参考用于畸变校正，因为生成图像天然与T1源图像对齐。