[論文レビュー] Deep Reinforcement Learning for Inverse Inorganic Materials Design

Elton Pan, Christopher Karpovich+1 more|arXiv (Cornell University)|Oct 21, 2022

Quantum Dots Synthesis And Properties被引用数 5

ひとこと要約

本論文は、形成エネルギー、体積モodulusなどの物性と焼結温度などの合成制約を同時に最適化できる、深層Qネットワーク（DQN）に基づく強化学習フレームワークを提案している。この手法は、高い化学的妥当性を達成し、Os₅WO₅のような新規でパレート最適な化合物を生成し、ベースラインを上回る性能を示している。

ABSTRACT

A major obstacle to the realization of novel inorganic materials with desirable properties is the inability to perform efficient optimization across both materials properties and synthesis of those materials. In this work, we propose a reinforcement learning (RL) approach to inverse inorganic materials design, which can identify promising compounds with specified properties and synthesizability constraints. Our model learns chemical guidelines such as charge and electronegativity neutrality while maintaining chemical diversity and uniqueness. We demonstrate a multi-objective RL approach, which can generate novel compounds with targeted materials properties including formation energy and bulk/shear modulus alongside a lower sintering temperature synthesis objectives. Using this approach, the model can predict promising compounds of interest, while suggesting an optimized chemical design space for inorganic materials discovery.

研究の動機と目的

• 目的の物性と実現可能な合成経路を有する新規無機材料を効率的に発見する課題に対処すること。
• 既存の生成モデルが抱える問題、例えば学習の不安定性や化学的妥当性の欠如を克服すること。
• 体積モodulus や形成エネルギーなどの物性と、焼結温度などの合成制約を同時に最適化すること。
• 生成過程で酸化数および電負う度のバランスを保つための制約オракルを用いて、化学的妥当性を強制すること。
• 確率的行動サンプリングにより、化学的多様性を維持しながら、性能最適化を達成すること。

提案手法

• 部分的組成を状態として用い、特定の化学计量比を持つ元素を追加する行動を含む、深層Qネットワーク（DQN）を用いた逐次的意思決定プロセスとして無機材料組成の生成を定式化する。
• 将来の制約違反の度合を学習した関数を用いて、酸化数のバランスや電負う度のバランスに反する行動をペナルティ化することで、化学的妥当性を保証する制約オラクルを採用する。
• 無効な行動に対して無限大のペナルティ項を導入した修正DQNポリシーを提案し、化学的に妥当な化合物のみを生成することを保証する。
• 探索と活用のバランスを図るために確率的行動サンプリングを適用し、高い性能を維持しながら化学的多様性を向上させる。
• 物性固有の報酬（例：体積モodulus と焼結温度）の線形結合として、調整可能なハイパーパrameter λ を用いた多目的報酬関数を採用する。
• 生成された材料を機械学習ベースの物性予測器およびテンプレートマッチングを用いた結晶構造予測により検証する。

実験結果

リサーチクエスチョン

• RQ1 複雑な多物性および合成制約を有する無機材料の逆設計に、強化学習を効果的に適用できるか？
• RQ2 深層強化学習に基づく材料生成過程で、化学的妥当性（例：酸化数および電負う度のバランス）を体系的にどのように強制できるか？
• RQ3 高次元の無機組成空間において、DQNエージェントは化学的多様性と物性最適化の両立をどの程度達成できるか？
• RQ4 多目的報酬関数におけるハイパーパrameter λ の調整が、機械的強度と合成エネルギーのトレードオフにどのように影響するか？
• RQ5 本手法は、既存データベースに存在しない新規で化学的に妥当かつパレート最適な無機化合物を生成できるか？

主な発見

• DQNモデルは生成物の100％が一意であることを達成し、化学的多様性と妥当性においてベースラインを著しく上回った。
• 単一物性最適化において、DQNはベースラインよりより負の形成エネルギー、より高い体積モodulus およびせん断モodulus、および低い焼結温度を持つ材料を生成した。
• 生成物の期待L2距離（ElMD）がターゲット物性分布から小さくなり、物性予測の整合性と分散の低減を示した。
• 多目的最適化において、λ を 125 または 250 に設定した場合、体積モodulus と焼結温度の両方で同時に改善された化合物が生成され、ベースラインを上回った。
• 本モデルは、新しいパレート最適化合物である Os₅WO₅（空間群 Pmn2₁）を同定し、テンプレートマッチングにより安定な結晶構造と予測された良好な物性を示した。
• λ を 62.5 に低下させた場合、体積モodulus の低下を犠牲にしながら焼結温度の低減を優先した。これにより、トレードオフの存在と特徴的なパレートフロンティアの存在が確認された。