[논문 리뷰] Recent advances in the SISSO method and their implementation in the SISSO++ code

Thomas A. R. Purcell, Matthias Scheffler외 1명|arXiv (Cornell University)|2023. 05. 02.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

이 논문은 SISSO++ 코드에서 알고리즘적 및 구현적 혁신을 제안하며, 문법적으로 일관된 특징 표현을 위한 이진 표현 트리, 비선형 매개변수 최적화를 위한 매개변수화된 SISSO, 모델 표현력과 정확도를 향상시키기 위한 다중 잔차 학습을 도입한다. 이러한 향상은 재료 과학 적용 분야에서 물리적으로 의미 있고 해석 가능한 인공지능 모델의 탐색 범위를 크게 확장시킨다.

ABSTRACT

Accurate and explainable artificial-intelligence (AI) models are promising tools for the acceleration of the discovery of new materials, ore new applications for existing materials. Recently, symbolic regression has become an increasingly popular tool for explainable AI because it yields models that are relatively simple analytical descriptions of target properties. Due to its deterministic nature, the sure-independence screening and sparsifying operator (SISSO) method is a particularly promising approach for this application. Here we describe the new advancements of the SISSO algorithm, as implemented into SISSO++, a C++ code with Python bindings. We introduce a new representation of the mathematical expressions found by SISSO. This is a first step towards introducing ``grammar'' rules into the feature creation step. Importantly, by introducing a controlled non-linear optimization to the feature creation step we expand the range of possible descriptors found by the methodology. Finally, we introduce refinements to the solver algorithms for both regression and classification, that drastically increase the reliability and efficiency of SISSO. For all of these improvements to the basic SISSO algorithm, we not only illustrate their potential impact, but also fully detail how they operate both mathematically and computationally.

연구 동기 및 목표

• 재료 성질 예측을 위한 SISSO 기호 회귀 방법의 표현력과 신뢰도를 향상시키기 위해.
• 이진 표현 트리 표현을 통해 문법적으로 올바르고 물리적으로 일관된 수학적 표현을 보장하기 위해.
• 비선형 매개변수 최적화를 통해 SISSO의 능력을 복잡한 비선형 모델을 발견할 수 있도록 확장하기 위해.
• 다중 잔차 학습과 효율적인 솔버 알고리즘을 통해 특징 식별 성능을 향상시키기 위해.
• 재료 정보학 분야에서 광범위하게 채택될 수 있도록 모듈러하고 오픈소스인 C++ 코드베이스와 파이썬 바인딩을 제공하기 위해.

제안 방법

• 이진 표현 트리로 특징를 표현하면, 단위 추적, 영역/범위 제어, 물리적 일관성 확보를 위한 재귀적 조작이 가능해진다.
• 매개변수화된 SISSO를 도입함으로써, 압축 감지 메트릭스 기반 손실 함수를 사용해 특징 생성 중에 비선형 매개변수를 최적화할 수 있다.
• 기본 특징 식별 단계에서 다중 잔차를 구현하면, 목표 성질의 점진적으로 정밀해지는 근사치로부터 학습할 수 있다.
• 분류 문제에 선형 프로그래밍을 적용하면 솔버의 효율성과 신뢰성이 향상된다.
• 다양한 표현식에서 유의미한 특징를 선택하기 위해 투영 점수를 활용한 확실성 독립 筛選(SIS)을 적용한다.
• 회귀나 분류를 위한 최적의 n차원 특징 벡터를 식별하기 위해 부분공간 𝒮에서 ℓ₀-정규화 최적화를 수행한다.

Figure 1: A demonstration of the new representation of the features in the SISSO++ code. The feature is stored as the root of the tree (represented by the thick border), the primary features are the leaves, and the rung corresponds to the height of the tree, i.e. the longest path between each leaf a

실험 결과

연구 질문

• RQ1 SISSO의 기호 회귀는 어떻게 더 표현력 있고 복잡한 비선형 모델을 발견할 수 있도록 개선될 수 있는가?
• RQ2 기호 회귀에 체계적으로 문법적 제약 조건을 통합하여 물리적 일관성과 수치적 안정성을 보장할 수 있는가?
• RQ3 다중 잔차 학습은 SISSO 모델의 정확도와 수렴 속도에 어떻게 기여하는가?
• RQ4 특징의 매개변수 최적화는 모델 성능과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 실제 재료 과학 적용 분야에서 SISSO 솔버의 계산 효율성과 신뢰성을 어떻게 향상시킬 수 있는가?

주요 결과

• 이진 표현 트리 표현 방식은 생성된 특징의 단위, 영역, 범위를 완전히 제어할 수 있게 하여 수치 오차를 줄이고 물리적 일관성을 보장한다.
• 매개변수화된 SISSO를 통해 특징 생성 과정에서 매개변수를 최적화함으로써 비선형 모델을 발견할 수 있으며, 열전도도 예측에서 이를 입증하였다.
• 다중 잔차 학습은 단일 잔차 접근 방식 대비 SIS 부분공간 크기를 90% 이상 감소시켜 더 빠른 수렴을 가능하게 하였다.
• 50개의 잔차를 사용한 SISSO는 노이즈가 있는 두 차원의 합성 모델을 거의 완벽하게 복원했으며, 단일 잔차 학습은 유사한 성능을 달성하기 위해 400개 이상의 특징가 필요로 하였다.
• 분류 문제에 대해 선형 프로그래밍을 구현함으로써 솔버의 안정성과 효율성이 향상되었으며, 특히 고차원 특징 공간에서 두드러졌다.
• SISSO++ 코드는 재료 탐색에서 기호 회귀를 재현 가능하고 모듈러하며 확장 가능한 방식으로 사용할 수 있도록 하였으며, 모든 데이터와 스크립트가 공개되어 있다.

Figure 3: A comparison of the expressions found non-parametric (a, c, and e) and parametric SISSO (b, d, and f) for a Lorentzian (a, b, e, and f) and sin (c, d) function. Blue dots represent the training data, and the red line represents the expressions found by SISSO. The parameterization scheme ei