[論文レビュー] M$^2$Hub: Unlocking the Potential of Machine Learning for Materials Discovery

Yuanqi Du, Yingheng Wang+7 more|arXiv (Cornell University)|Jun 14, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

M²Hub は、仮想スクリーニング、逆設計、分子シミュレーションの分野において、データセット、タスク、モデル、ベンチマークを統合することで、材料発見の加速を目的とした包括的な機械学習ツールキットです。6種類の材料タイプにまたがる11のデータセットと56のタスクを提供し、現実的なデータ分割を用いることで、周期的でない構造を含む性能予測および生成的設計の分野における最先端モデルのベンチマークが可能になります。オープンソースのコードと透明性のある評価プロトコルを備えています。

ABSTRACT

We introduce M$^2$Hub, a toolkit for advancing machine learning in materials discovery. Machine learning has achieved remarkable progress in modeling molecular structures, especially biomolecules for drug discovery. However, the development of machine learning approaches for modeling materials structures lag behind, which is partly due to the lack of an integrated platform that enables access to diverse tasks for materials discovery. To bridge this gap, M$^2$Hub will enable easy access to materials discovery tasks, datasets, machine learning methods, evaluations, and benchmark results that cover the entire workflow. Specifically, the first release of M$^2$Hub focuses on three key stages in materials discovery: virtual screening, inverse design, and molecular simulation, including 9 datasets that covers 6 types of materials with 56 tasks across 8 types of material properties. We further provide 2 synthetic datasets for the purpose of generative tasks on materials. In addition to random data splits, we also provide 3 additional data partitions to reflect the real-world materials discovery scenarios. State-of-the-art machine learning methods (including those are suitable for materials structures but never compared in the literature) are benchmarked on representative tasks. Our codes and library are publicly available at https://github.com/yuanqidu/M2Hub.

研究の動機と目的

• 分子およびバイオ分子アプリケーションと比較して、材料発見における機械学習インfraのギャップを埋める。
• データ、タスク、モデル、評価、ベンチマークを統合した中央集権的で包括的なプラットフォームを提供し、材料科学におけるMLワークフローの全般を支援する。
• 分布外のシナリオを含む複数のデータ分割を用いることで、モデルの頑健性を向上させる現実的な評価を可能にする。
• 合成データセット、評価指標、オラクル関数を提供することで、生成的材料設計を支援する。
• 材料文脈でこれまで比較されていなかった多様な機械学習モデルを、代表的なタスク上でベンチマーク化する。

提案手法

• 結晶、2次元材料、MOFsなどを含む6種類の材料タイプにまたがる11のデータセットを収集し、8種類の材料特性をカバーする56のタスクを実施。
• ランダム分割に加え、材料発見における現実の分布外シナリオを反映する3つの追加のデータ分割を設計。
• グラフニューラルネットワーク（CGCNN、MEGNet、SchNet、DimeNet++、GemNet、Equiformer、LEFTNet）および組成ベースのモデル（ALIGNN）を含む13の代表的機械学習モデルを統合し、性能予測および生成的タスクに適用。
• 標準化されたデータ処理パイプラインと評価プロトコルを実装し、回帰タスクの指標（MAE、RMSE、R²）を含む。
• 逆設計および生成的材料モデリングのためのオラクル関数と評価フレームワークを提供。
• すべてのコード、データセット、ベンチマーク結果を公開GitHubリポジトリにホスティングし、再現性とコミュニティ利用を促進。

実験結果

リサーチクエスチョン

• RQ1 統一されたプラットフォームは、材料発見における機械学習モデルの再現性およびベンチマーク化をどのように向上させるか？
• RQ2 最先端モデルの性能差は、周期的でない構造を含む多様な材料および特性予測タスクにおいてどのように現れるか？
• RQ3 現実的なデータ分割（例：分布外）は、モデルの一般化性能および評価の信頼性にどのように影響するか？
• RQ4 既存の機械学習モデルは、生成的材料設計タスクにどの程度効果的に適用可能か？
• RQ5 モデルアーキテクチャ、トレーニング方式、目的関数は、特定の材料発見問題の解決にどの程度の役割を果たすか？

主な発見

• M²Hub は、8種類の材料特性をカバーする56のタスクを含む11の収集済みデータセットを提供しており、生成モデリング用に2つの合成データセットも含む。
• ランダム分割に加え、分布外設定でのモデル評価の頑健性を高めるために3つの現実的なデータ分割を含むベンチマークが実装されている。
• テストされたモデルの中で、DimeNet++ と GemNet は qmof bandgap タスクでそれぞれ平均順位2.4および2.9を達成し、最高のパフォーマンスを示した。一方、ALIGNN は組成ベースのタスクで平均順位2.3を記録し、優れた性能を示した。
• トレーニング効率には顕著な差が見られた：CGCNN と SchNet は高速（例：V100で pdos タスクで68秒）である一方、Equiformer と LEFTNet は遅く（例：pdos タスクでそれぞれ713秒および117秒）なっており、精度と推論速度のトレードオフが明確に現れている。
• EGNN や DimeNet++ は複数のタスクで優れたパフォーマンスを示し、EGNN は100原子未満の系で e_form タスクにおいて最小のMAE（0.0113）を達成した。
• ベンチマークの結果から、モデル選択がパフォーマンスに顕著な影響を与えることが判明した。ALIGNN と SchNet は、多様な材料および特性タイプにわたる一般化性能に優れていた。