[論文レビュー] A critical examination of robustness and generalizability of machine learning prediction of materials properties

Kangming Li, Brian DeCost+3 more|arXiv (Cornell University)|Oct 24, 2022

Machine Learning in Materials Science被引用数 8

ひとこと要約

この論文は、機械学習モデルがMaterials Project 2018 (MP18) データセットで事前学習された後、MP21 データセットの新しい材料の生成エネルギーを予測する際に、分布シフトの影響で著しい性能低下を示すことを示している。UMAP 視覚化とクエリ・バイ・コミ mittee アクティブラーニングを用いることで、分布外のサンプルを同定し、テストデータのたった1%を追加するだけで予測精度を向上させた。これは、材料科学における機械学習の頑健性と一般化性能を向上させる実用的なフレームワークを提供する。

ABSTRACT

Recent advances in machine learning (ML) methods have led to substantial improvement in materials property prediction against community benchmarks, but an excellent benchmark score may not imply good generalization of performance. Here we show that ML models trained on the Materials Project 2018 (MP18) dataset can have severely degraded prediction performance on new compounds in the Materials Project 2021 (MP21) dataset. We document performance degradation in graph neural networks and traditional descriptor-based ML models for both quantitative and qualitative predictions. We find the source of the predictive degradation is due to the distribution shift between the MP18 and MP21 versions. This is revealed by the uniform manifold approximation and projection (UMAP) of the feature space. We then show that the performance degradation issue can be foreseen using a few simple tools. Firstly, the UMAP can be used to investigate the connectivity and relative proximity of the training and test data within feature space. Secondly, the disagreement between multiple ML models on the test data can illuminate out-of-distribution samples. We demonstrate that the simple yet efficient UMAP-guided and query-by-committee acquisition strategies can greatly improve prediction accuracy through adding only 1~\% of the test data. We believe this work provides valuable insights for building materials databases and ML models that enable better prediction robustness and generalizability.

研究の動機と目的

• 歴史的な材料データベースで学習された機械学習モデルが、より新しい拡張されたデータセットに適用された際の一般化性能を調査すること。
• 進化する材料データベースの文脈において、新しい材料の予測で性能が低下する根本的原因を特定すること。
• 材料科学における機械学習の分布外予測失敗を診断・緩和する、実用的でデータ効率の良い戦略を開発すること。
• 特徴空間解析とアンサンブルの不一致を活用することで、材料物性予測のための機械学習モデルの頑健性と信頼性を向上させること。

提案手法

• MP18 と MP21 間のデータ分布シフトを可視化するため、相関フィルタリング後の90次元の Matminer で抽出された特徴量を、低次元空間に次元削減する目的で UMAP (Uniform Manifold Approximation and Projection) を用いた。
• 生成エネルギー予測のため、MP18 データ上で最先端のグラフニューラルネットワーク (ALIGNN) と3つの従来の機械学習モデル (XGBoost, Random Forest, Linear Forest) を学習した。
• 複数のモデル間の予測不一致（クエリ・バイ・コミット）を用いて、予測不確実性が著しい分布外のテストサンプルを同定した。
• UMAP のクラスタリングに基づき、最も外れ値に近いサンプルを選択するUMAPに従うアクティブラーニングを適用し、最小限の追加データでモデルの精度を向上させた。
• MP21 テストセットに対して、標準的な回帰指標（例：R²、MAE）を用いてモデル性能を評価し、MP18 全体と、選択された新データで学習したモデルを比較した。
• データ不足や分布シフトが生じる際の外挿予測の頑健性を向上させるために、線形モデルを統合するハイブリッド予測戦略を提案した。

実験結果

リサーチクエスチョン

• RQ1 MP18 で学習された機械学習モデルが、MP21 データセットの新しい材料の生成エネルギーを予測する際、どの程度性能が低下するか？
• RQ2 進化するデータベースにおける新しい材料に一般化する際、機械学習モデルの性能低下の背後にある根本的原因は何か？
• RQ3 特徴空間の UMAP ベースの可視化は、予測失敗と相関する分布シフトを明らかにできるか？
• RQ4 複数の機械学習モデル間の不一致は、展開前に分布外のサンプルを同定するのに有効か？
• RQ5 UMAP とモデル不一致に基づくアクティブラーニングは、最小限の追加データで予測精度を顕著に向上させられるか？

主な発見

• MP18 で事前学習された ALIGNN モデルは、MP21 の一部の新しい材料に対して生成エネルギーを著しく低く予測しており、MP18 テストセットと比較して MAE で50%以上の性能低下を示した。
• XGBoost や Linear Forest といった従来のモデルは、最先端の ALIGNN モデルよりも MP21 データに対してより頑健な相平衡推定を示した。
• UMAP 視覚化により、誤って予測された MP21 の材料が、特徴空間において MP18 の訓練データ分布から大きく離れていることが明らかになった。
• モデルの不一致（クエリ・バイ・コミット）は、分布外のサンプルを効果的に特定でき、高い不一致は予測誤差と強く相関していた。
• UMAP クラスタリングとモデル不一致に基づき選択された、MP21 テストデータのたった1%を追加するだけで、予測精度が顕著に向上し、最も性能が悪かったサブセットの MAE が最大30%まで低下した。
• 本研究は、UMAP に従うアクティブラーニングが、最小限のデータ取得コストでモデルの一般化性能を向上させる極めて効率的な戦略であることを示した。