[论文解读] From voxels to pixels and back: Self-supervision in natural-image reconstruction from fMRI

Roman Beliy, Guy Gaziv+4 more|arXiv (Cornell University)|Jul 3, 2019

Advanced MRI Techniques and Applications参考文献 31被引用 58

一句话总结

本文提出一个自监督框架，使用带标签对和未标记数据（包括未标记的测试 fMRI）实现 fMRI-to-image 重建，以适应新的测试统计并提升重建质量。

ABSTRACT

Reconstructing observed images from fMRI brain recordings is challenging. Unfortunately, acquiring sufficient "labeled" pairs of {Image, fMRI} (i.e., images with their corresponding fMRI responses) to span the huge space of natural images is prohibitive for many reasons. We present a novel approach which, in addition to the scarce labeled data (training pairs), allows to train fMRI-to-image reconstruction networks also on "unlabeled" data (i.e., images without fMRI recording, and fMRI recording without images). The proposed model utilizes both an Encoder network (image-to-fMRI) and a Decoder network (fMRI-to-image). Concatenating these two networks back-to-back (Encoder-Decoder & Decoder-Encoder) allows augmenting the training with both types of unlabeled data. Importantly, it allows training on the unlabeled test-fMRI data. This self-supervision adapts the reconstruction network to the new input test-data, despite its deviation from the statistics of the scarce training data.

研究动机与目标

• 解决用于从 fMRI 重建看到的图像的带标签 Image–fMRI 对的稀缺性。
• 利用未标记数据（图像和 fMRI）来提升解码性能。
• 通过在未标记的 test-fMRI 上训练，使重建模型适应测试时的数据统计。
• 开发一个两阶段训练流程，在提升解码器能力的同时保持编码器的稳定性。
• 展示在两个公开 fMRI 数据集上的鲁棒性和泛化能力。

提出的方法

• 训练一个 Encoder，将图像映射到 fMRI 响应，使用带标签的 image–fMRI 对进行监督。
• 训练一个 Decoder，将 fMRI 映射到图像，使用带标签数据的损失和自监督损失的组合损失。
• 通过 Encoder–Decoder 路径 (s -> D(E(s)) 以强制图像一致性) 将未标记图像的无监督训练加入。
• 通过 Decoder–Encoder 路径 (r -> E(D(r)) 以适应测试统计) 将未标记的 test-fMRI 的无监督训练加入。
• 在 Decoder 训练期间保持 Encoder 固定，以在无监督目标下保持对 fMRI 预测的一致性。
• 使用一个三部分的 Decoder 损失 L^D + L^ED + L^DE，将带标签的图像重构损失与特征、颜色损失以及全变差正则化结合。

实验结果

研究问题

• RQ1 在未标记数据（图像和测试 fMRI）上的自监督是否能提升超越有监督学习的 fMRI-to-image 重建？
• RQ2 适应未标记的 test-fMRI 如何影响目标测试图像的重建质量？
• RQ3 使用外部未标记图像进行训练是否有帮助？对目标 test-fMRI 的适应是否更有影响？
• RQ4 两阶段训练方法对稳定性与重建保真度有何影响？

主要发现

• 在未标记的 test-fMRI 上进行自监督在重建质量上提供了最大的提升。
• 对未标记自然图像进行的无监督训练有一定提升，但不如对 test-fMRI 的适应那样显著。
• 结合两种未标记数据类型的完整方法的识别率高于单独的有监督训练。
• 在 2-way 识别中，单纯有监督达到 80.1%，在完整未标记数据训练后提升到 85.3%。
• 对于 vim-1，完整方法在 n=2 时实现 70.5% 的识别率，较竞争方法至少高出 3%。