[論文レビュー] On the redundancy in large material datasets: efficient and robust learning with less data

Kangming Li, Daniel Persaud+4 more|arXiv (Cornell University)|Apr 25, 2023

Machine Learning in Materials Science参考文献 45被引用数 6

ひとこと要約

この論文は、大規模な物質データセットの最大95％のデータを、分布内機械学習性能に悪影響を及げることなく削除可能であることを示しており、過剰に代表されている物質種別による顕著な冗長性を明らかにしている。鋸削アルゴリズムと不確実性に基づくアクティブラーニングを用いることで、著者らは、より小さな情報量の多いデータセットが、同等またはより優れた耐性を示すことを示した。これは、物質データサイエンス分野における「より大きなデータが良い」というパラダイムに挑戦するものである。

ABSTRACT

Extensive efforts to gather materials data have largely overlooked potential data redundancy. In this study, we present evidence of a significant degree of redundancy across multiple large datasets for various material properties, by revealing that up to 95 % of data can be safely removed from machine learning training with little impact on in-distribution prediction performance. The redundant data is related to over-represented material types and does not mitigate the severe performance degradation on out-of-distribution samples. In addition, we show that uncertainty-based active learning algorithms can construct much smaller but equally informative datasets. We discuss the effectiveness of informative data in improving prediction performance and robustness and provide insights into efficient data acquisition and machine learning training. This work challenges the "bigger is better" mentality and calls for attention to the information richness of materials data rather than a narrow emphasis on data volume.

研究の動機と目的

• 複数の物性にわたる、広く使われている大規模な物質データセットにおけるデータの冗長度を調査すること。
• フルデータセットと比較して、より小さな鋸削済みデータセットが機械学習モデルの性能を維持または向上させられるかどうかを評価すること。
• 新規の鋸削アルゴリズムと不確実性に基づくアクティブラーニングのデータ選択効果を比較すること。
• より大きなデータセットが常に優れたモデルを生み出すという一般的な仮定に挑戦し、単なるデータ量ではなく情報の豊かさを重視すること。
• 情報豊富で冗長でないデータポイントを特定することで、効率的なデータ収集とモデル学習を支援すること。

提案手法

• 鋸削アルゴリズムは、検証用サブセットで予測誤差が最小のデータポイントを繰り返し削除し、訓練セットに最も情報量の多いサンプルのみを保持する。
• アルゴリズムはフルデータセットから開始し、各イテレーションで保持された20％の検証サブセットから低誤差のサンプルを削除することで、訓練サイズを段階的に縮小する。
• XGBoost、ランダムフォレスト、ALIGNNの3つの機械学習モデルを評価し、全訓練サイズにわたり一貫したハイパーパrameterを用いることで、公平な比較を実現する。
• 不確実性に基づくアクティブラーニングは、3つの不確実性指標を用いて実装されている：RFの予測パーセンタイル、XGBoostのインスタンスベース不確実性、RFとXGB間のクエリ・バイ・コミッティの分散。
• 汎化性能と耐性を評価するために、分布内（ID）および分布外（OOD）のテストセットで性能を評価する。
• 使用されたデータセットにはMaterials Project、OQMD、その他のデータセットが含まれ、更新に伴う一貫性を保つために、データベース間マッピングが実施されている。

Figure 1: Schematic of redundancy evaluation . a the dataset splits. b three prediction tasks to evaluate model performance and data redundancy.

実験結果

リサーチクエスチョン

• RQ1 大規模な物質データセットにおいて、分布内予測性能に悪影響を及げない範囲で、どの程度データを削減できるか？
• RQ2 観察された冗長性の原因は何か？物質種別の過剰代表化と関係があるか？
• RQ3 予測誤差に基づく鋸削アルゴリズムは、モデル性能を維持する小さな情報量の高いデータサブセットを特定できるか？
• RQ4 不確実性に基づくアクティブラーニングは、提案された鋸削手法と比較して、情報量の多いデータの選択においてどの程度効果的か？
• RQ5 情報豊富なデータサブセットは、異なる機械学習アーキテクチャーや物性間でどの程度転送可能か？

主な発見

• 大規模な物質データセットから最大95％のデータを安全に削除しても、分布内予測性能に顕著な悪影響がないことが示され、極めて大きな冗長性があることが判明した。
• この冗長性は、ノイズや測定誤差によるものではなく、特定の物質種別が過剰に代表されていることが主な要因である。
• 鋸削済みデータセットは、分布内データに対して高い性能を維持するとともに、フルデータセットと比較して分布外サンプルに対する耐性が向上している。
• 不確実性に基づくアクティブラーニング手法は、大幅に縮小されたサイズで同等の情報量を持つデータセットを構築でき、ランダムサンプリングを上回る性能を示した。
• 情報豊富なデータサブセットは、異なるMLアーキテクチャ（例：RF、XGB、ALIGNN）間で良好に転送されるが、顕著に異なる物性間では転送がうまくいかない。
• 本研究は、物質データサイエンス分野における「より大きなデータが良い」という考え方に挑戦し、データ量ではなく情報の豊かさを重視するデータ選択のあり方を提唱している。

Figure 2: RMSE on the ID test sets. a-c JARVIS18, MP18, and OQMD14 formation energy prediction. d-f JARVIS18, MP18, and OQMD14 band gap prediction. The random baseline results to for the XGB and RF (or ALIGNN) models are obtained by averaging over the results of 10 (or 5) random data selections for