[논문 리뷰] Importance of feature engineering and database selection in a machine learning model: A case study on carbon crystal structures

Franz M. Rohrhofer, Santanu Saha외 4명|arXiv (Cornell University)|2021. 01. 30.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 연구는 탄소 결정 구조의 총 에너지를 예측하는 데 있어 특징 공학과 데이터베이스 선택이 기계학습 성능에 미치는 영향을 조사한다. 단순하고 해석 가능한 특징(SGD, RDF, ADF)을 사용한 커널 리지 회귀를 통해 저자들은 모델 성능이 특징 선택과 데이터베이스 구성에 크게 의존하며, 체계적인 하이퍼파rameter 튜닝과 데이터베이스 서브셋 선택을 통해 최적의 성능을 달성할 수 있음을 보여주며, 다양한 구조 유형 간에 성능이 이식 가능하지 않음을 강조한다.

ABSTRACT

Drive towards improved performance of machine learning models has led to the creation of complex features representing a database of condensed matter systems. The complex features, however, do not offer an intuitive explanation on which physical attributes do improve the performance. The effect of the database on the performance of the trained model is often neglected. In this work we seek to understand in depth the effect that the choice of features and the properties of the database have on a machine learning application. In our experiments, we consider the complex phase space of carbon as a test case, for which we use a set of simple, human understandable and cheaply computable features for the aim of predicting the total energy of the crystal structure. Our study shows that (i) the performance of the machine learning model varies depending on the set of features and the database, (ii) is not transferable to every structure in the phase space and (iii) depends on how well structures are represented in the database.

연구 동기 및 목표

• 탄소 결정 구조의 총 에너지를 예측하는 데 있어 특징 공학과 데이터베이스 구성이 기계학습 모델 성능에 미치는 영향을 조사하기 위해.
• SGD, RDF, ADF와 같은 다양한 특징이 모델의 일반화 및 정확도에 미치는 영향을 평가하기 위해.
• 탄소 상계산 공간 내 다양한 구조 유형 간에 모델 성능이 이식 가능한지 여부를 규명하기 위해.
• 체계적인 그리드 서치와 교차 검증을 통해 최적의 하이퍼파ram터와 특징 조합을 특정하기 위해.
• 응집물질 시스템에서 강건하고 해석 가능한 기계학습 모델을 구축하기 위한 실용적 지침을 제공하기 위해.

제안 방법

• 이 연구는 탄소 결정 구조의 총 에너지를 예측하기 위해 기계학습 모델로 커널 리지 회귀(KRR)를 사용한다.
• 특징으로는 단순하고 물리적으로 해석 가능한 서술자인 근접 순서(SGD), 반경 분포 함수(RDF), 각도 분포 함수(ADF)를 포함한다.
• 모델 성능 최적화를 위해 5개의 교차 검증을 사용하여 정규화 파라미터 σ와 커널 계수 γ에 대한 그리드 서치를 수행하였다.
• 11,500개의 탄소 구조로 구성된 MHM+RS 데이터베이스를 사용하였으며, 일반화 성능 테스트를 위해 클러스터 1(이완된, sp²에 의해 지배되는)과 클러스터 2(밀도가 높은, sp³에 의해 지배되는)로 데이터베이스 서브셋을 구성하였다.
• 특징 유일성은 정규화된 특징 벡터 간의 유클리드 거리를 통해 검증되었으며, 비영인 거리 값은 특징의 유일성을 확인하였다.
• 모델 학습 및 예측은 파이썬을 사용하여 Scikit-learn으로 구현하였으며, 특징 추출에는 단일 프로세서에서 약 15분이 소요되었다.

실험 결과

연구 질문

• RQ1 다양한 특징 세트(SGD, RDF, ADF)가 탄소 결정의 총 에너지를 예측하는 기계학습 모델의 예측 성능에 어떻게 영향을 미치는가?
• RQ2 학습 데이터베이스의 구성과 표현 방식이 모델의 일반화 및 정확도에 어느 정도 영향을 미치는가?
• RQ3 학습된 모델의 성능이 탄소 상계산 공간 내 서로 다른 구조 유형 간에 이식 가능한가?
• RQ4 KRR 모델의 최적의 하이퍼파ram터 조합(σ 및 γ)은 다양한 특징 및 데이터베이스 구성에 대해 무엇인가?
• RQ5 특징 분포와 구조 클러스터링(예: 클러스터 1 대비 클러스터 2)은 모델 성능과 어떻게 상관관계가 있는가?

주요 결과

• 모델 성능은 특징 선택과 데이터베이스 구성에 따라 크게 달라지며, 유일한 최적 조합이 존재하지는 않는다.
• ADF 특징에 대한 최적의 바인딩 크기는 Δθ = 15°로 확인되었으며, 스무딩 파라미터 σ_ADF = 15°로 설정하여 총 0°–180° 범위에서 12개의 바인드를 생성하였다.
• MHM+RS 데이터베이스에 SGD+RDF+ADF 특징을 조합한 경우, 5개의 교차 검증에서 가장 낮은 평균 제곱 오차를 기록하였다.
• 성능은 구조 유형 간에 이식 가능하지 않았다: 클러스터 1에서 학습된 모델은 클러스터 2에서 성능이 떨어졌고, 반대의 경우도 마찬가지였다.
• 특징의 유일성이 확인되었으며, 정규화된 특징 벡터 간의 모든 쌍 간 유클리드 거리가 비영이었기 때문에 유일한 표현이 보장되었다.
• 연구는 데이터베이스 표현의 질—특히 구조 유형의 커버리지—가 모델의 일반화 능력과 예측 정확도에 직접적인 영향을 미친다는 점을 입증하였다.