[논문 리뷰] On the redundancy in large material datasets: efficient and robust learning with less data

Kangming Li, Daniel Persaud외 4명|arXiv (Cornell University)|2023. 04. 25.

Machine Learning in Materials Science참고 문헌 45인용 수 6

한 줄 요약

이 논문은 대규모 재료 데이터셋의 최대 95%의 데이터를 제거해도 분포 내 기계학습 성능이 떨어지지 않음을 입증하며, 과도하게 표본화된 재료 유형으로 인해 상당한 부족함이 발생함을 드러낸다. 도구 제거 알고리즘과 불확실성 기반 활성 학습을 활용하여 저자들은 더 작고 정보가 풍부한 데이터셋이 동일하거나 더 뛰어난 강건성을 달성할 수 있음을 보여주며, 재료 데이터 과학 분야에서 '크면 클수록 좋다'는 전통적 믿음을 도전한다.

ABSTRACT

Extensive efforts to gather materials data have largely overlooked potential data redundancy. In this study, we present evidence of a significant degree of redundancy across multiple large datasets for various material properties, by revealing that up to 95 % of data can be safely removed from machine learning training with little impact on in-distribution prediction performance. The redundant data is related to over-represented material types and does not mitigate the severe performance degradation on out-of-distribution samples. In addition, we show that uncertainty-based active learning algorithms can construct much smaller but equally informative datasets. We discuss the effectiveness of informative data in improving prediction performance and robustness and provide insights into efficient data acquisition and machine learning training. This work challenges the "bigger is better" mentality and calls for attention to the information richness of materials data rather than a narrow emphasis on data volume.

연구 동기 및 목표

• 다양한 물성에 걸쳐 널리 사용되는 대규모 재료 데이터셋에서 데이터 부족의 정도를 조사하기 위해.
• 완전한 데이터셋에 비해 더 작은, 제거된 데이터셋이 기계학습 모델 성능을 유지하거나 향상시킬 수 있는지 평가하기 위해.
• 새로운 제거 알고리즘과 불확실성 기반 활성 학습의 데이터 선택 효율성을 재료 기계학습 분야에서 비교하기 위해.
• 더 큰 데이터셋이 항상 더 나은 모델을 만들어낸다는 일반적인 가정을 도전하며, 단순한 데이터 양이 아닌 정보의 풍부함을 강조하기 위해.
• 정보가 풍부하고 부족함이 없는 데이터 포인트를 식별하여 효율적인 데이터 확보 및 모델 훈련을 안내하기 위해.

제안 방법

• 제거 알고리즘은 검증 분할에서 예측 오차가 가장 낮은 데이터 포인트를 반복적으로 제거하여, 훈련 세트에 가장 정보가 풍부한 샘플들만 유지한다.
• 알고리즘은 전체 데이터셋에서 시작하여, 각 반복에서 보존된 20% 검증 세트에서 예측 오차가 낮은 샘플을 제거함으로써 훈련 크기를 점진적으로 감소시킨다.
• 세 가지 기계학습 모델(XGBoost, Random Forest, ALIGNN)을 평가하였으며, 모든 훈련 세트 크기에서 동일한 초모수를 사용하여 공정한 비교를 확보하였다.
• 불확실성 기반 활성 학습은 세 가지 불확실성 측정 방식을 사용하여 구현되었다: RF 예측 백분위수, XGBoost 기반 인스턴스 불확실성, RF와 XGB 간의 쿼리-버팀법(variance) 기반 불확실성.
• 일반화성과 강건성을 평가하기 위해 분포 내(ID) 및 분포 외(OOD) 테스트 세트에서 성능을 평가하였다.
• 사용된 데이터셋은 Materials Project, OQMD 등이며, 업데이트 간 일관성을 확보하기 위해 데이터베이스 간 매핑을 수행하였다.

Figure 1: Schematic of redundancy evaluation . a the dataset splits. b three prediction tasks to evaluate model performance and data redundancy.

실험 결과

연구 질문

• RQ1 대규모 재료 데이터셋에서 얼마나 많은 데이터를 제거해도 분포 내 예측 성능이 떨어지지 않을 수 있는가?
• RQ2 관찰된 부족함의 원인은 무엇이며, 재료 유형의 과도한 표본화와 관련이 있는가?
• RQ3 예측 오차 기반 제거 알고리즘이 성능을 유지할 수 있는 소규모이지만 매우 정보가 풍부한 데이터 세트를 식별할 수 있는가?
• RQ4 불확실성 기반 활성 학습은 제안된 제거 방법에 비해 정보가 풍부한 데이터 선택에서 어떻게 비교되는가?
• RQ5 정보가 풍부한 데이터 세트가 서로 다른 기계학습 아키텍처와 재료 성질 간에 얼마나 잘 전이되는가?

주요 결과

• 대규모 재료 데이터셋에서 최대 95%의 데이터를 안전하게 제거해도 분포 내 예측 성능에 큰 영향을 주지 않으며, 이는 막대한 부족함을 시사한다.
• 부족함은 노이즈나 측정 오류가 아니라 특정 재료 유형의 과도한 표본화로 인한 것이 주요 원인이다.
• 제거된 데이터셋은 분포 내 데이터에서 높은 성능를 유지하면서도, 전체 데이터셋에 비해 분포 외 샘플에 대해 더 뛰어난 강건성을 보였다.
• 불확실성 기반 활성 학습 방법은 랜덤 샘플링보다 훨씬 작지만 동일한 정보를 가진 데이터셋을 구성할 수 있었다.
• 정보가 풍부한 데이터 세트는 서로 다른 ML 아키텍처(RF, XGB, ALIGNN) 간에 잘 전이되지만, 상당히 다른 재료 성질 간에는 전이가 잘 되지 않았다.
• 본 연구는 재료 데이터 과학 분야에서 '크면 클수록 좋다'는 사고방식을 도전하며, 데이터의 양이 아닌 정보의 풍부함을 우선시하는 데이터 선택 전략을 주장한다.

Figure 2: RMSE on the ID test sets. a-c JARVIS18, MP18, and OQMD14 formation energy prediction. d-f JARVIS18, MP18, and OQMD14 band gap prediction. The random baseline results to for the XGB and RF (or ALIGNN) models are obtained by averaging over the results of 10 (or 5) random data selections for