[논문 리뷰] Learning to extrapolate using continued fractions: Predicting the critical temperature of superconductor materials

Pablo Moscato, Mohammad Nazmul Haque외 3명|arXiv (Cornell University)|2020. 11. 27.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 논문은 초전도체의 임계 온도를 예측하기 위해 연속 분수와 가감성 스퍼인 모델을 조합한 새로운 다변량 회귀 방법 Spln-CFR를 제안한다. 이 방법은 도메인 외 일반화 성능에서 기존 10종의 기계학습 방법을 모두 능가하며, 특히 고임계온도(Tc) 초전도체를 순위 매길 때 뛰어난 성능을 보인다. Spln-CFR의 상위 예측 평균은 103.64 K이며, XGBoost의 경우 91.31 K에 그치는데, 이는 재료 설계에서의 우수한 외삽 능력을 시사한다.

ABSTRACT

In the field of Artificial Intelligence (AI) and Machine Learning (ML), the approximation of unknown target functions $y=f(\mathbf{x})$ using limited instances $S={(\mathbf{x^{(i)}},y^{(i)})}$, where $\mathbf{x^{(i)}} \in D$ and $D$ represents the domain of interest, is a common objective. We refer to $S$ as the training set and aim to identify a low-complexity mathematical model that can effectively approximate this target function for new instances $\mathbf{x}$. Consequently, the model's generalization ability is evaluated on a separate set $T=\{\mathbf{x^{(j)}}\} \subset D$, where $T eq S$, frequently with $T \cap S = \emptyset$, to assess its performance beyond the training set. However, certain applications require accurate approximation not only within the original domain $D$ but also in an extended domain $D'$ that encompasses $D$. This becomes particularly relevant in scenarios involving the design of new structures, where minimizing errors in approximations is crucial. For example, when developing new materials through data-driven approaches, the AI/ML system can provide valuable insights to guide the design process by serving as a surrogate function. Consequently, the learned model can be employed to facilitate the design of new laboratory experiments. In this paper, we propose a method for multivariate regression based on iterative fitting of a continued fraction, incorporating additive spline models. We compare the performance of our method with established techniques, including AdaBoost, Kernel Ridge, Linear Regression, Lasso Lars, Linear Support Vector Regression, Multi-Layer Perceptrons, Random Forests, Stochastic Gradient Descent, and XGBoost. To evaluate these methods, we focus on an important problem in the field: predicting the critical temperature of superconductors based on physical-chemical characteristics.

연구 동기 및 목표

• 기계학습 모델이 재료 과학 분야에서 훈련 도메인 외부로의 정확한 외삽을 수행하는 데 도전하는 문제를 해결하기 위해, 특히 초전도체의 임계 온도(Tc)를 훈련 데이터 외부에서도 정확히 예측할 수 있도록 하는 것.
• 실험 설계를 안내할 수 있는 서브모델을 개발하여 고Tc를 가지는 새로운 초전도체 재료를 효과적으로 식별하는 것.
• 연속 분수 프레임워크를 활용해 분자 기술자표현에서의 구조적 유사성을 통해, 예측 불가능한 고Tc 재료에 대한 일반화 성능을 향상시키는 것.
• 모델의 성능을 도메인 내 및 도메인 외 설정에서 최신 기계학습 기법들과 비교하여 평가하는 것.

제안 방법

• 모델는 목표 함수 f(x)를 연속 분수 표현을 통해 모델링하며, 계수는 평균 제곱 오차를 최소화하도록 메믹 알고리즘을 통해 최적화된다.
• 고차원의 화학-물리적 기술자 공간에서의 유연성과 국소적 피팅 성능을 향상시키기 위해 가감성 스퍼인 모델을 통합한다.
• 모델는 알려진 Tc 값을 가진 초전도체 재료 데이터셋을 사용하여 훈련되며, 훈련 오차를 최소화하면서 일반화 능력을 유지하는 데 초점을 맞춘다.
• 연속 분수 구조는 입력 특징의 암묵적 비선형 변환을 가능하게 하여, 표준 선형 또는 커널 기반 모델보다 더 나은 외삽 성능을 제공한다.
• AdaBoost, 커널 리지, 선형 회귀, Lasso Lars, 선형 서포트 벡터 회귀, 다층 퍼셉트론, 랜덤 포레스트, SGD, XGBoost, 기준 모델인 CFR를 포함한 10종의 기존 기계학습 모델과 비교한다.
• 도메인 외 일반화 능력은 훈련 세트의 Tc 값보다 높은 Tc를 가진 재료로 테스트하여 평가하며, 실제 재료 발견 시나리오를 시뮬레이션한다.

(a) depth 3

실험 결과

연구 질문

• RQ1 연속 분수 기반의 회귀 모델이 기존 기계학습 모델보다 초전도체의 임계 온도를 훈련 도메인 외부에서 더 잘 일반화할 수 있는가?
• RQ2 가감성 스퍼인 성분의 포함이 고Tc 초전도체로의 외삽 능력에 어떤 영향을 미치는가?
• RQ3 훈련 세트 내 고Tc 재료의 구조적 유사성이, 더 높은 Tc 값을 가진 재료로의 일반화 능력 향상에 얼마나 기여하는가?
• RQ4 Spln-CFR 방법이 기존의 회귀 기법보다 실험 검증을 위한 상위 우선순위 재료 예측을 더 신뢰할 수 있게 제공하는가?

주요 결과

• Spln-CFR는 테스트한 11개 방법 중에서 가장 뛰어난 일반화 성능을 보였으며, 354개 데이터셋 중 192개에서 평균 제곱 오차(MSE)가 모든 다른 방법보다 우수했다.
• Spln-CFR가 상위 20개 재료로 예측한 평균 임계 온도는 103.64 K였으며, 실제 평균값과 정확히 일치하여 강력한 예측 정확도를 보였다.
• XGBoost는 MSE가 Spln-CFR보다 거의 3배 작았지만, 상위 20개 예측의 평균은 뿐만 아니라 고Tc 초전도체를 크게 낮게 예측했다.
• 선형 회귀와 다층 퍼셉트론 모두 상위 예측 값이 100 K 이하였고, 실제 상위 재료의 Tc 값은 98–132.6 K 범위에 있었으며, 이는 이들의 외삽 성능이 열악함을 시사한다.
• 결과적으로 Spln-CFR의 도메인 외 예측 성능 향상 요인은 훈련 세트 내 고Tc 재료의 구조적 유사성을 효과적으로 활용한 데 기인할 수 있다.
• 본 연구는 향후 향상 가능성이 도메인 특화 기술자와 더 높은 Tc 재료 발견을 우선시하도록 수정된 손실 함수를 통합함으로써 달성될 수 있음을 시사한다.

(b) depth 5