[论文解读] Deep Reinforcement Learning for Data-Driven Adaptive Scanning in Ptychography

Marcel Schloz, Johannes Müller+5 more|arXiv (Cornell University)|Mar 29, 2022

Advanced X-ray Imaging Techniques被引用 5

一句话总结

本文提出一种基于深度强化学习（DRL）的自适应扫描方法，用于光谱扫描成像，通过动态聚焦于样品中高信息区域，在降低电子束剂量的同时提升重建分辨率。该方法通过从模拟和实验数据中学习，仅利用先前获取的衍射图样，在实时过程中优化扫描位置，与非自适应方法相比，分辨率最高提升31.59%，重建质量提升25.75%（在低剂量条件下）。

ABSTRACT

We present a method that lowers the dose required for a ptychographic reconstruction by adaptively scanning the specimen, thereby providing the required spatial information redundancy in the regions of highest importance. The proposed method is built upon a deep learning model that is trained by reinforcement learning (RL), using prior knowledge of the specimen structure from training data sets. We show that equivalent low-dose experiments using adaptive scanning outperform conventional ptychography experiments in terms of reconstruction resolution.

研究动机与目标

• 在不牺牲重建质量的前提下，降低光谱扫描成像中的电子束剂量。
• 解决固定光栅扫描模式对所有区域（包括低信息区域）进行均匀采样的局限性。
• 利用样品结构的先验知识，引导智能、数据驱动的扫描路径优化。
• 仅依赖已获取的衍射数据，在实验过程中实现实时、顺序决策。
• 展示使用深度强化学习实现自主、自适应显微成像的可行性。

提出的方法

• 该方法采用在模拟和实验光谱扫描数据集上训练的深度强化学习（DRL）智能体，以预测最优扫描位置。
• DRL智能体结合卷积神经网络（CNNs）与循环神经网络（RNNs），处理序列化衍射数据并推断空间结构。
• 智能体通过混合训练策略进行训练：先在标注扫描路径上进行监督预训练，随后通过强化学习最大化重建图像的动态范围。
• 策略网络基于已获取衍射图样的历史记录，输出下一时刻的扫描位置，实现实验过程中的在线自适应。
• 该算法在仅保留结构相关区域信息冗余的前提下运行，最小化总扫描点数与电子束剂量。
• 训练好的DRL模型可仅通过极少微调，即迁移至真实实验条件，完全依赖实时衍射反馈运行。

实验结果

研究问题

• RQ1 DRL智能体能否从序列化衍射数据中学习识别并优先定位光谱扫描样品中的高信息区域？
• RQ2 与传统光栅扫描相比，自适应扫描在多大程度上可降低电子束剂量，同时保持或提升重建分辨率？
• RQ3 在低剂量条件下，DRL自适应扫描方法与随机扫描或固定模式扫描相比，性能如何？
• RQ4 训练数据中的先验知识在多大程度上可提升DRL智能体在真实实验环境中的泛化能力与鲁棒性？
• RQ5 监督预训练与强化学习的协同策略，是否相比纯强化学习或监督基线方法，能带来更优的收敛性与性能？

主要发现

• 在低剂量条件下，基于DRL的自适应扫描方法相较非自适应（随机）扫描，重建分辨率最高提升31.59%。
• 在等效低剂量下，该方法在重建质量指标（如动态范围）上相较非自适应扫描提升25.75%。
• 即使总剂量更高，自适应扫描在重建质量上仍优于传统高剂量光栅网格扫描。
• DRL智能体成功仅从衍射数据中学习定位并优先处理原子尺度特征，而无需直接访问实空间图像。
• 混合训练策略（监督预训练后接强化学习）显著加快了真实实验中的收敛速度，并提升了泛化能力。
• 得益于DRL模型的预处理与领域感知设计，该方法对实验不确定性（如扫描定位误差与样品污染）表现出强鲁棒性。