[论文解读] Deep Reinforcement Learning for Inverse Inorganic Materials Design

Elton Pan, Christopher Karpovich+1 more|arXiv (Cornell University)|Oct 21, 2022

Quantum Dots Synthesis And Properties被引用 5

一句话总结

本文提出了一种基于深度Q网络（DQN）的强化学习框架，用于反向无机材料设计，能够实现材料性能（例如生成能、体积累 modulus）和合成约束（例如烧结温度）的多目标优化。该方法实现了高度的化学有效性，并生成了新型的Pareto最优化合物，如Os₅WO₅，其性能优于基线模型。

ABSTRACT

A major obstacle to the realization of novel inorganic materials with desirable properties is the inability to perform efficient optimization across both materials properties and synthesis of those materials. In this work, we propose a reinforcement learning (RL) approach to inverse inorganic materials design, which can identify promising compounds with specified properties and synthesizability constraints. Our model learns chemical guidelines such as charge and electronegativity neutrality while maintaining chemical diversity and uniqueness. We demonstrate a multi-objective RL approach, which can generate novel compounds with targeted materials properties including formation energy and bulk/shear modulus alongside a lower sintering temperature synthesis objectives. Using this approach, the model can predict promising compounds of interest, while suggesting an optimized chemical design space for inorganic materials discovery.

研究动机与目标

• 为高效发现具有目标性能和可行合成路径的新型无机材料提供解决方案。
• 克服现有无机材料生成模型在训练不稳定性及化学有效性方面的局限性。
• 实现材料性能（例如体积累 modulus、生成能）与合成约束（例如烧结温度）的多目标优化。
• 通过约束预言机在生成过程中强制执行电荷平衡与电负性平衡，确保化学有效性。
• 通过概率性动作采样，在保持高性能的同时维持化学多样性。

提出的方法

• 将无机材料组成生成建模为使用深度Q网络（DQN）的序列决策过程，其中状态表示部分组成，动作涉及以特定化学计量比添加元素。
• 采用约束预言机通过惩罚违反电荷平衡或电负性平衡的动作来强制实现化学有效性，利用未来约束违反的预测函数。
• 引入改进的DQN策略，对无效动作施加无穷惩罚项，确保仅生成化学上合理的化合物。
• 应用概率性动作采样以平衡探索与利用，提升化学多样性，同时保持高性能。
• 使用多目标奖励函数作为属性特定奖励（例如体积累 modulus 和烧结温度）的线性组合，其中可调超参数λ用于优先考虑不同目标。
• 通过机器学习性能预测器和基于模板匹配的晶体结构预测方法验证生成的材料。

实验结果

研究问题

• RQ1 强化学习能否有效应用于具有复杂多属性与合成约束的无机材料反向设计？
• RQ2 在基于深度强化学习的材料生成过程中，如何系统性地强制实现化学有效性（例如电荷与电负性平衡）？
• RQ3 DQN智能体在高维无机组成空间中，能在多大程度上平衡化学多样性与性能优化？
• RQ4 在多目标奖励函数中调节超参数λ，如何影响机械强度与合成能量之间的权衡？
• RQ5 该方法能否生成现有数据库中不存在的新型、化学有效且Pareto最优的无机化合物？

主要发现

• DQN模型在生成材料中实现了100%的唯一性，显著优于基线模型在化学多样性和有效性方面的表现。
• 在单属性优化中，DQN生成的材料具有更低的生成能、更高的体积累模量与剪切模量，以及更低的烧结温度，优于基线模型。
• DQN模型降低了生成材料与目标性能分布之间的期望L2度量距离（ElMD），表明性能预测的一致性更高、方差更低。
• 在多目标优化中，当λ设置为125或250时，DQN生成的化合物在体积累模量和烧结温度上实现了同步改进，优于基线模型在两项指标上的表现。
• 该模型识别出一种新型Pareto最优化合物Os₅WO₅（空间群Pmn2₁），其预测性能优异，且通过模板匹配确认具有稳定的晶体结构。
• 当λ降低至62.5时，模型优先降低烧结温度，代价是体积累模量下降，证实了存在权衡关系，并呈现出典型的Pareto前沿。