[论文解读] Interferobot: aligning an optical interferometer by a reinforcement learning agent

Dmitry Sorokin, Alexander E. Ulanov+2 more|arXiv (Cornell University)|Jun 3, 2020

Neural Networks and Reservoir Computing参考文献 29被引用 5

一句话总结

该论文提出 Interferobot，一种强化学习智能体，仅通过干涉条纹的单目相机图像即可自主对齐马赫-曾德尔干涉仪。该智能体在无物理先验知识或手工特征的随机化仿真环境中训练，实现了从仿真到真实光学装置的零样本迁移，其对齐性能达到专家水平，在微调速度和稳定性方面优于人类专家。

ABSTRACT

Limitations in acquiring training data restrict potential applications of deep reinforcement learning (RL) methods to the training of real-world robots. Here we train an RL agent to align a Mach-Zehnder interferometer, which is an essential part of many optical experiments, based on images of interference fringes acquired by a monocular camera. The agent is trained in a simulated environment, without any hand-coded features or a priori information about the physics, and subsequently transferred to a physical interferometer. Thanks to a set of domain randomizations simulating uncertainties in physical measurements, the agent successfully aligns this interferometer without any fine tuning, achieving a performance level of a human expert.

研究动机与目标

• 自动化马赫-曾德尔干涉仪的对齐，该任务在实验光学中耗时且对精度要求高。
• 通过基于仿真的训练，解决在真实机器人系统上训练强化学习智能体时面临的数据效率和安全性挑战。
• 通过端到端视觉强化学习策略的训练，消除对手工编码特征或物理先验知识的依赖。
• 通过领域随机化实现从仿真到真实硬件的零样本迁移，避免昂贵的微调。
• 展示一种可泛化的框架，适用于多种光学装置，且无需重新训练或人工干预。

提出的方法

• 在模拟环境中训练深度强化学习智能体，该环境模拟了马赫-曾德尔干涉仪的光学物理特性。
• 仅使用干涉条纹的单目相机图像作为智能体的唯一观测输入，不使用任何手工特征。
• 应用领域随机化技术以模拟现实世界中的不确定性：随机化光束半径、亮度、白噪声，以及占空比/跟踪时间。
• 使用近端策略优化（PPO）算法训练智能体，以条纹可见度作为密集奖励信号。
• 优化智能体的策略，以处理非正交动作空间，其中调整镜面角度会同时影响光束中心和倾斜度。
• 在未进行任何微调或训练期间与真实世界交互的情况下，直接将训练好的策略迁移到物理干涉仪上。

实验结果

研究问题

• RQ1 一个基于视觉的强化学习智能体是否可以在不了解光学物理知识或不使用手工特征的情况下，对真实世界的马赫-曾德尔干涉仪实现对齐？
• RQ2 在仿真中应用领域随机化在多大程度上能够实现强化学习策略从仿真到真实光学装置的零样本迁移？
• RQ3 与人类专家相比，该强化学习智能体在对齐速度和最终可见度方面的表现如何？
• RQ4 领域随机化中的哪些组件对光学对齐任务中成功实现仿真到真实迁移最为关键？
• RQ5 该方法是否可以泛化到其他光学干涉仪构型而无需重新训练？

主要发现

• Interferobot 智能体在真实干涉仪上实现了 0.96 ± 0.02 的平均可见度，与熟练人类专家的性能相当。
• 该智能体在微调阶段表现优于人类专家，更快达到最大可见度，且在最终对齐阶段的振荡更少。
• 消融研究显示，光束半径随机化和白噪声添加是最重要的领域随机化组件，其移除分别导致平均可见度降至 0.74 和 0.82。
• 智能体在未进行任何微调的情况下成功实现了从仿真到现实的迁移，展示了强大的零样本泛化能力。
• 该策略学习了一种非直观的之字形对齐策略——故意使光束偏离以隔离并校正光束中心偏移——其性能优于人类依赖视觉判断的策略。
• 该方法可泛化至其他干涉仪类型和构型，因为其方法基于视觉观测，不依赖于系统特定参数。