[论文解读] Spatio-temporal Vision Transformer for Super-resolution Microscopy

Charles N. Christensen, Meng Lü+3 more|arXiv (Cornell University)|Feb 28, 2022

Advanced Fluorescence Microscopy Techniques被引用 6

一句话总结

本文提出 VSR-SIM，一种用于超分辨率显微成像的时空 Vision Transformer，通过使用 3D 移位窗口多头注意力和通道注意力机制，无需依赖光流即可重建动态活细胞 SIM 数据。该方法实现了滚动 SIM 成像，在保持亚衍射分辨率的同时，将时间分辨率提高至传统方法的 9 倍，并减少了高度动态样本中的运动伪影。

ABSTRACT

Structured illumination microscopy (SIM) is an optical super-resolution technique that enables live-cell imaging beyond the diffraction limit. Reconstruction of SIM data is prone to artefacts, which becomes problematic when imaging highly dynamic samples because previous methods rely on the assumption that samples are static. We propose a new transformer-based reconstruction method, VSR-SIM, that uses shifted 3-dimensional window multi-head attention in addition to channel attention mechanism to tackle the problem of video super-resolution (VSR) in SIM. The attention mechanisms are found to capture motion in sequences without the need for common motion estimation techniques such as optical flow. We take an approach to training the network that relies solely on simulated data using videos of natural scenery with a model for SIM image formation. We demonstrate a use case enabled by VSR-SIM referred to as rolling SIM imaging, which increases temporal resolution in SIM by a factor of 9. Our method can be applied to any SIM setup enabling precise recordings of dynamic processes in biomedical research with high temporal resolution.

研究动机与目标

• 为解决标准方法假设样本静态时，动态样本引起的 SIM 重建中运动伪影的问题。
• 开发一种无需光流的 SIM 视频超分辨率（VSR）方法，以利用时间相关性。
• 通过滚动窗口重建方案实现在 SIM 中的高时间分辨率成像。
• 仅在模拟数据上训练深度学习模型，以捕捉真实运动和光照模式。
• 在具有生物相关性的高度动态细胞结构（如内质网）上展示该方法的有效性。

提出的方法

• 该方法使用带有移位 3D 窗口的 3D Vision Transformer，以捕捉 SIM 数据视频序列中的时空依赖性。
• 通过集成通道注意力和多头自注意力机制，对 3D 特征图中的特征重要性和长程相关性进行建模。
• 训练数据通过将 SIM 图像形成物理模型应用于视频序列来合成，从而实现运动感知的监督。
• 模型在合成数据上端到端训练，无需真实标签，避免了标签中的运动模糊。
• 为支持滚动 SIM，训练期间对照明图案顺序进行打乱，使模型对输入序列顺序保持不变。
• 在 Transformer 块之间使用残差连接，以稳定训练并改善特征学习。

实验结果

研究问题

• RQ1 基于 Transformer 的架构是否能有效在不依赖光流估计的情况下学习 SIM 数据中的运动补偿？
• RQ2 在模拟视频序列上训练的模型，在高时间分辨率下能否有效重建动态活细胞结构？
• RQ3 所提方法是否能通过滚动 SIM 成像将时间分辨率提高 9 倍，同时不牺牲空间分辨率？
• RQ4 注意力机制本身是否足以捕捉 SIM 序列中的运动，即使照明图案掩盖了运动线索？
• RQ5 该模型在具有复杂快速动态（如内质网重塑）的真实生物样本上的表现如何？

主要发现

• 在 Reds 视频数据集上，VSR-SIM 在高运动场景（25 ms 帧延迟）下比 ML-SIM 提升了 1 dB 的 PSNR，表明对运动更具鲁棒性。
• 即使在空间分离度增加的情况下，模型在模拟微球序列上的性能依然保持稳定，表明其具有有效的运动处理能力。
• 结合 VSR-SIM 的滚动 SIM 可从 20 帧序列中重建出 19 个输出，相比传统 SIM 时间分辨率提高 9 倍。
• 在内质网成像中，VSR-SIM 揭示了颗粒状的重塑动态（如管状结构的伸长、回缩和连接形成），而 FairSIM 仅显示两个突变的输出。
• 尽管 FairSIM 具有更高的空间分辨率，VSR-SIM 产生的伪影更少，并实现了对快速细胞动态的连续观测。
• 该方法具有通用性，可适用于任何 SIM 设置，因其仅在合成数据上训练，且可适应不同的照明图案和系统配置。