[논문 리뷰] High-dimensional Bayesian Optimization of Hyperparameters for an Attention-based Network to Predict Materials Property: a Case Study on CrabNet using Ax and SAASBO

Sterling G. Baird, Marianne Liu외 1명|arXiv (Cornell University)|2022. 03. 19.

Machine Learning in Materials Science인용 수 4

한 줄 요약

이 연구는 Ax 플랫폼 내에서 SAASBO와 GPEI를 사용하여 CrabNet의 23개 하이퍼파라미터를 튜닝하기 위해 고차원 베이지안 최적화를 적용한다. SAASBO는 Matbench 실험적 밴드 갭 회귀 과제에서 기존 최고 성능을 초월하여 평균 절대 오차(MAE)를 4.5% 감소시켜 새로운 최고 성능을 달성한다.

ABSTRACT

Expensive-to-train deep learning models can benefit from an optimization of the hyperparameters that determine the model architecture. We optimize 23 hyperparameters of a materials informatics model, Compositionally-Restricted Attention-Based Network (CrabNet), over 100 adaptive design iterations using two models within the Adaptive Experimentation (Ax) Platform. This includes a recently developed Bayesian optimization (BO) algorithm, sparse axis-aligned subspaces Bayesian optimization (SAASBO), which has shown exciting performance on high-dimensional optimization tasks. Using SAASBO to optimize CrabNet hyperparameters, we demonstrate a new state-of-the-art on the experimental band gap regression task within the materials informatics benchmarking platform, Matbench (~4.5% decrease in mean absolute error (MAE) relative to incumbent). Characteristics of the adaptive design scheme as well as feature importances are described for each of the Ax models. SAASBO has great potential to both improve existing surrogate models, as shown in this work, and in future work, to efficiently discover new, high-performing materials in high-dimensional materials science search spaces.

연구 동기 및 목표

• 기존에 최고 성능을 기록한 모델이 하이퍼파라미터 최적화를 통해 더 향상될 수 있는지 조사하기 위해.
• 특히 SAASBO를 활용한 고차원 베이지안 최적화의 효과성 평가를 위해, 딥러닝 모델의 재료 성능 예측을 위한 하이퍼파라미터 튜닝에 적용한다.
• 최적화된 하이퍼파라미터가 실험적 밴드 갭 외의 다른 재료 성질이나 데이터 모odalities로 일반화 가능한지 평가하기 위해.
• 계산적으로 비용이 많이 드는 모델을 사용하여 재료 정보학 분야에서 하이퍼파라미터 최적화의 기준을 설정하기 위해.

제안 방법

• 가우스 프로세스 기대 향상(GPEI)과 SAASBO를 사용하는 Ax 베이지안 최적화 플랫폼을 활용한다.
• 고차원 BO 알고리즘인 SAASBO는 희소 축에 따라 정렬된 부분공간과 역 길이 척도에 대한 강한 사전 분포를 사용하여 과적합을 방지한다.
• 4,604개의 조성 기반 데이터 포인트를 포함하는 Matbench matbench_expt_gap 데이터셋에 대해 5중첩 교차검증을 실시한다.
• 학습률, 레이어 수, 드롭아웃 비율, 학습 에포크 수를 포함한 CrabNet의 23개 하이퍼파라미터를 최적화한다.
• GPEI에서 획득 함수로 기대 향상을 사용하고, 자동 관련성 결정을 활용하여 특징 중요도를 추정한다.
• Sobol 수열을 사용하여 초기 탐색을 수행한 후 BO 기반 최적화를 수행하는 100회의 적응형 설계 반복을 실시한다.

실험 결과

연구 질문

• RQ1 기존에 최고 성능을 기록한 모델이 하이퍼파라미터 최적화를 통해 얼마나 더 향상될 수 있는가?
• RQ2 전통적인 BO와 비교해 볼 때, SAASBO는 재료 정보학 모델의 고차원 하이퍼파라미터 공간에서 어떻게 성능을 발휘하는가?
• RQ3 CrabNet의 실험적 밴드 갭 과제에서 예측 정확도 향상에 가장 영향을 미치는 하이퍼파라미터는 무엇인가?
• RQ4 최적화된 하이퍼파라미터는 실험적 밴드 갭 이외의 다른 재료 성질이나 데이터 유형으로 일반화 가능한가?

주요 결과

• SAASBO는 Matbench 실험적 밴드 갭 회귀 과제에서 평균 절대 오차(MAE)를 4.5% 상대적으로 감소시켜 새로운 최고 성능을 달성했다.
• 모든 다섯 개의 교차검증 폴드에서 최대 허용된 값인 80에 도달한 학습 에포크 수가 최적화되어, 더 긴 학습이 유익하며 조기 정지에 의해 제한되지 않는다는 것을 시사한다.
• SAASBO는 후반기 반복에서 탐색을 보다 선호하는 경향을 보였으며, 이는 고차원 공간에서의 과적합에 대해 강건함을 시사한다.
• 특징 중요도 분석 결과, 학습 에포크 수가 가장 영향력 있는 하이퍼파라미터였고, 이어 학습률과 드롭아웃 비율이 뒤이었다.
• Sobol 초기화 이후 BO 반복을 수행하는 적응형 설계 체계가 고차원 하이퍼파라미터 공간을 효과적으로 탐색했다.
• 결과적으로 SAASBO는 재료 정보학 분야에서 효율적인 하이퍼파라미터 최적화를 위한 강력한 도구로 검증되었으며, 재료 발견 분야에 광범위한 응용 가능성을 지닌다.