[论文解读] Towards on-sky adaptive optics control using reinforcement learning

Nousiainen, J., Rajani, C.+16 more|arXiv (Cornell University)|May 16, 2022

Adaptive optics and wavefront sensing被引用 5

一句话总结

该论文提出PO4AO，一种基于模型的强化学习方法，用于在轨自适应光学控制，通过学习动力学模型并优化神经网络策略以减少波前误差。在MagAO-X的仿真和实验室实验中，其日冕仪对比度均比标准积分器控制方法提升3–5倍，训练时间不足10秒，推理时间低于1毫秒，可实现实时应用在极大望远镜上。

ABSTRACT

The direct imaging of potentially habitable Exoplanets is one prime science case for the next generation of high contrast imaging instruments on ground-based extremely large telescopes. To reach this demanding science goal, the instruments are equipped with eXtreme Adaptive Optics (XAO) systems which will control thousands of actuators at a framerate of kilohertz to several kilohertz. Most of the habitable exoplanets are located at small angular separations from their host stars, where the current XAO systems' control laws leave strong residuals.Current AO control strategies like static matrix-based wavefront reconstruction and integrator control suffer from temporal delay error and are sensitive to mis-registration, i.e., to dynamic variations of the control system geometry. We aim to produce control methods that cope with these limitations, provide a significantly improved AO correction and, therefore, reduce the residual flux in the coronagraphic point spread function. We extend previous work in Reinforcement Learning for AO. The improved method, called PO4AO, learns a dynamics model and optimizes a control neural network, called a policy. We introduce the method and study it through numerical simulations of XAO with Pyramid wavefront sensing for the 8-m and 40-m telescope aperture cases. We further implemented PO4AO and carried out experiments in a laboratory environment using MagAO-X at the Steward laboratory. PO4AO provides the desired performance by improving the coronagraphic contrast in numerical simulations by factors 3-5 within the control region of DM and Pyramid WFS, in simulation and in the laboratory. The presented method is also quick to train, i.e., on timescales of typically 5-10 seconds, and the inference time is sufficiently small (< ms) to be used in real-time control for XAO with currently available hardware even for extremely large telescopes.

研究动机与目标

• 解决当前自适应光学（AO）控制方法的局限性，如时间延迟误差和对错位敏感性，这些因素会降低高对比度成像性能。
• 提升极端自适应光学（XAO）系统的波前校正能力，以减少日冕仪点扩散函数（PSFs）中的残余通量，这对探测微弱、类地系外行星至关重要。
• 开发一种数据驱动、自校准的控制策略，可适应光学增益效应和非线性波前探测等动态系统变化，无需人工重新调参。
• 为未来具有高达10,000个促动器的极大望远镜（ELTs）实现实时、可扩展的控制，通过高效推理和极少的训练数据。
• 通过MagAO-X上的数值仿真和实验室实验，证明强化学习在在轨AO控制中的可行性。

提出的方法

• PO4AO采用基于模型的策略优化，从交互数据中学习AO系统的预测动力学模型。
• 它使用卷积神经网络（CNN）策略，根据波前传感器测量值和预测系统状态生成控制指令。
• 该方法通过基于最小化后日冕仪PSF方差的奖励信号训练策略，直接针对高对比度成像性能进行优化。
• 关键创新在于采用浅层CNN架构，使在标准GPU硬件上的推理时间低于300 μs，适用于实时控制。
• 算法通过仅5,000–10,000帧交互数据端到端训练，5–10秒内即可收敛。
• 该方法对数据分布偏移具有鲁棒性，并可在运行过程中适应大气和系统条件的变化。

实验结果

研究问题

• RQ1 强化学习能否用于训练自适应光学控制策略，使其在日冕仪对比度方面优于传统的积分器方法？
• RQ2 基于模型的强化学习方法能否在具有高达10,000个促动器的系统上实现推理时间低于1毫秒的实时性能？
• RQ3 PO4AO方法在未见过的大气条件和系统错位（如错位或光学增益效应）下泛化能力如何？
• RQ4 该方法能否在数秒内快速训练并保持性能，无需外部调参，从而实现即插即用的AO控制？
• RQ5 PO4AO的数据驱动特性是否使其能够在实际观测运行中自校准并适应系统动力学变化？

主要发现

• 在8米和40米望远镜口径的数值仿真中，PO4AO相比标准积分器控制器，将日冕仪对比度提升了3–5倍。
• 在MagAO-X系统上的实验室实验中，PO4AO将后日冕仪PSF的时间方差降低了3–5倍，且在内工作角区域的PSF方差平均值显著更低。
• 该方法仅用5–10秒的训练数据即实现收敛，证明了其从极少交互数据中快速学习的能力。
• 在现代笔记本GPU上，推理时间测量为300 μs，证实了其在当前硬件上实现实时控制的可行性，即使在极大望远镜规模下亦可实现。
• PO4AO在显著的数据分布偏移（如大气条件变化）下仍保持高性能，表现出对真实世界变化的鲁棒性。
• 该方法表现出自校准行为，显著减少了对人工重新调参的需求，暗示其具备实现完全自动化、即插即用AO运行的潜力。