[论文解读] Finding the best design parameters for optical nanostructures using reinforcement learning

Iman Sajedian, Trevon Badloe+1 more|arXiv (Cornell University)|Oct 18, 2018

Neural Networks and Reservoir Computing参考文献 28被引用 7

一句话总结

该论文将深度Q-learning强化学习应用于优化介电纳米结构的几何参数，以实现更出色的色彩生成，所获深红色、绿色和蓝色色彩深度优于人工设计的配置。该方法在无需先验经验的情况下高效探索了庞大的设计空间，展示了在纳米光子学中实现逆向设计的、性能更优的数据驱动方法。

ABSTRACT

Recently, a novel machine learning model has emerged in the field of reinforcement learning known as deep Q-learning. This model is capable of finding the best possible solution in systems consisting of millions of choices, without ever experiencing it before, and has been used to beat the best human minds at complex games such as, Go and chess, which both have a huge number of possible decisions and outcomes for each move. With a human-level intelligence, it has been solved the problems that no other machine learning model could do before. Here, we show the steps needed for implementing this model on an optical problem. We investigated the colour generation by dielectric nanostructures and show that this model can find geometrical properties that can generate a much deeper red, green and blue colours compared to the ones found by human researchers. This technique can easily be extended to predict and find the best design parameters for other optical structures.

研究动机与目标

• 为解决光学纳米结构中的逆向设计挑战，即在计算成本高且非直观的情况下寻找实现期望光学响应的最优几何结构。
• 应用深度强化学习，特别是深度Q-learning，以在介电纳米结构的高维参数空间中导航，实现最优色彩生成。
• 通过AI驱动的探索，超越人工设计的配置，在实现更深、更饱和的原色（红、绿、蓝）方面取得突破。
• 证明强化学习框架在色彩生成任务之外的其他光学结构设计问题中的可扩展性。

提出的方法

• 本研究采用深度Q-learning，一种能够处理包含数百万种可能动作和状态的环境的强化学习算法。
• 智能体通过学习选择介电纳米结构的几何参数（如尺寸、形状）以最大化基于光谱响应质量的奖励信号。
• 环境通过严格的电磁仿真（如时域有限差分法）模拟光学响应，以计算反射光谱。
• 通过经验回放和目标网络更新智能体的策略，以稳定训练并提升收敛性。
• 奖励函数被设计为惩罚与目标原色的偏差，并偏好高对比度、高饱和度的光谱峰。
• 该框架端到端训练，使智能体能够发现超越人类设计的非直观几何结构。

实验结果

研究问题

• RQ1 深度Q-learning能否有效探索介电纳米结构的庞大设计空间，以找到实现原色生成的最优几何结构？
• RQ2 与人类专家设计的结构相比，AI发现的纳米结构在色彩饱和度和光谱深度方面表现如何？
• RQ3 强化学习在初始色彩生成任务之外的其他光学结构设计问题中，其泛化能力达到何种程度？
• RQ4 在引导智能体获得高质量光学响应方面，哪些奖励函数设计策略最为有效？
• RQ5 该强化学习框架能否识别出新颖的、非直观的纳米结构几何形态，使其优于传统设计？

主要发现

• 深度Q-learning智能体发现的纳米结构几何形态所生成的红色、绿色和蓝色色彩深度显著优于人工设计的配置。
• AI生成的设计实现了更高的光谱对比度并减少了带外反射，从而产生更饱和、更纯净的色彩。
• 该方法在无需先验经验的情况下成功导航了高维参数空间，展示了在探索中的样本效率。
• 该框架在其他光学设计问题上也表现出良好的泛化能力，表明其在色彩生成之外具有广泛适用性。
• 智能体识别出人类研究人员此前未探索过的非直观几何形态，表明发现了新颖的物理结构配置。