[論文レビュー] JARVIS-Leaderboard: A Large Scale Benchmark of Materials Design Methods

Kamal Choudhary, Daniel Wines+36 more|arXiv (Cornell University)|Jun 20, 2023

Machine Learning in Materials Science参考文献 193被引用数 4

ひとこと要約

JARVIS-Leaderboardは、AI、電子構造、力場、量子計算、実験を含む多様な材料設計手法を、完璧な材料および欠陥を有する材料を含む複数のデータモダリティで統合するオープンソースでコミュニティ主導のベンチマークプラットフォームです。再現性があり、透明性があり、標準化された手法の評価を可能にし、1,200件を超える寄稿と、JARVIS-DFT 3Dデータセットの5,572種の材料を対象としたMAEやMAD/MAE比といったメトリクスを用いた包括的な性能比較を実現しています。

ABSTRACT

Lack of rigorous reproducibility and validation are major hurdles for scientific development across many fields. Materials science in particular encompasses a variety of experimental and theoretical approaches that require careful benchmarking. Leaderboard efforts have been developed previously to mitigate these issues. However, a comprehensive comparison and benchmarking on an integrated platform with multiple data modalities with both perfect and defect materials data is still lacking. This work introduces JARVIS-Leaderboard, an open-source and community-driven platform that facilitates benchmarking and enhances reproducibility. The platform allows users to set up benchmarks with custom tasks and enables contributions in the form of dataset, code, and meta-data submissions. We cover the following materials design categories: Artificial Intelligence (AI), Electronic Structure (ES), Force-fields (FF), Quantum Computation (QC) and Experiments (EXP). For AI, we cover several types of input data, including atomic structures, atomistic images, spectra, and text. For ES, we consider multiple ES approaches, software packages, pseudopotentials, materials, and properties, comparing results to experiment. For FF, we compare multiple approaches for material property predictions. For QC, we benchmark Hamiltonian simulations using various quantum algorithms and circuits. Finally, for experiments, we use the inter-laboratory approach to establish benchmarks. There are 1281 contributions to 274 benchmarks using 152 methods with more than 8 million data-points, and the leaderboard is continuously expanding. The JARVIS-Leaderboard is available at the website: https://pages.nist.gov/jarvis_leaderboard

研究の動機と目的

• 材料科学における再現性と検証の欠如という深刻な課題に対処するため、統一されたベンチマーキングインfraを構築すること。
• AI、電子構造、力場、量子計算、実験データを含む多様な材料設計手法を、1つの拡張可能なプラットフォームに統合すること。
• データセット、コード、メタデータのコミュニティ寄稿を可能にし、透明性、再現性、手法の検証を向上させること。
• 標準化された評価メトリクスと比較ツール（例：Jupyterノートブック）を提供し、手法間での一貫性のある性能評価を実現すること。
• 現実の複雑さを反映させるために、理想状態と欠陥を有する材料の両方のデータをサポートし、手法のロバストネスを向上させること。

提案手法

• NISTのJARVISインfraストラクチャ上にホストされた中央集権的でオープンアクセスのプラットフォームを構築し、AI、電子構造、力場、量子計算、実験の5分野におけるベンチマークタスクを提供する。
• 平均絶対誤差（MAE）やMAEに対する平均絶対偏差比（MAD/MAE）といったメトリクスを用いて、標準化された評価プロトコルを実装し、手法間比較を可能にする。
• 原子構造、原子的画像、スペクトル、テキスト、および複数の研究室によるラウンドロビン研究からの実験結果を含む、複数のデータモダリティを統合する。
• AIベンチマークでは、Magpieおよびボロノイタイル化記述子を含む多様な入力タイプをサポートし、ニューラルネットワークモデルと比較する。
• JupyterおよびGoogle Colabノートブックを用いて、ベンチマーク結果の可視化と性能分析を再現可能にする。
• データセット、コード、メタデータの寄稿を可能にする構造化された送信パイプラインを提供し、バージョン管理とプロバンス追跡を保証する。

Figure 1: Leaderboard snapshot showing an example output for AI based formation energy per atom model on the JARVIS-DFT (dft_3d) dataset. The benchmark has seven contributions so far and they are sorted based on the mean absolute error (MAE) values. Lower MAE values indicate higher accuracy. Links t

実験結果

リサーチクエスチョン

• RQ1 異なるAIモデル（例：記述子ベース対ニューラルネットワーク）は、多様な入力データに対して、生成エネルギーなどの材料特性を予測する際に、どのように性能を発揮するか？
• RQ2 電子構造手法は、異なるソフトウェアパッケージ、擬ポテンシャル、材料に対して、実験データと比較して一貫性と正確性を示すか？
• RQ3 力場モデルは、さまざまな材料において体積モodulusやその他の機械的特性を予測する際に、どのように比較されるか？
• RQ4 さまざまな量子回路とアルゴリズムは、ハミルトニアンシミュレーションを用いて電子バンド構造をシミュレートする際に、どの程度の精度を示すか？
• RQ5 特にゼオライトにおけるCO2捕捉のような複雑な特性に関して、複数の研究室間での実験結果はどの程度再現可能か？

主な発見

• AI回帰タスクにおいて、最も優れた記述子ベースのモデルは、Magpieおよびボロノイタイル化特徴を用いた木構造モデルであり、すべてのテストベンチマークでニューラルネットワークを上回った。
• JARVIS-DFT 3Dデータセット（5,572種の材料）において、AIベンチマークはMAE値が一貫しており、入力モダリティにかかわらず、手法の順位付けが明確に可能であった。
• 電子構造ベンチマークでは、ソフトウェアパッケージや擬ポテンシャルに応じてバンドギャップの予測に顕著なばらつきが認められ、一部のケースでは実験値から数eVのずれが生じた。
• 量子計算ベンチマークでは、異なる量子回路とアルゴリズムがアルミニウムの電子バンド構造のシミュレーションにおいて、回路の深さやキュービットマッピングに依存して精度に差を示した。
• ZSM-5ゼオライトにおけるCO2捕捉の複数研究室間の実験比較では、研究室間で測定可能なばらつきが認められ、標準化されたプロトコルの必要性が浮き彫りになった。
• MAD/MAE比は、性能比較のための頑健なメトリクスであった。この値は、特に高次元またはノイズの多いデータ領域において、一部のモデルが平均誤差に対して高い分散を示していることを示していた。

Figure 2: A flow-chart showing the processes involved in uploading a new contribution to the leaderbaord. The jarvis_populate_data.py scripts generate a benchmark dataset. A user can apply their method, train models, or run experiments on that dataset and prepare a csv.zip, a metadata.json file, and