[論文レビュー] High-dimensional Bayesian Optimization of Hyperparameters for an Attention-based Network to Predict Materials Property: a Case Study on CrabNet using Ax and SAASBO

Sterling G. Baird, Marianne Liu+1 more|arXiv (Cornell University)|Mar 19, 2022

Machine Learning in Materials Science被引用数 4

ひとこと要約

本研究では、Axプラットフォーム内でのSAASBOおよびGPEIを用いた高次元ベイズ最適化を活用し、注目メカニズムに基づく材料特性予測モデルCrabNetの23のハイパーパrameterを最適化した。SAASBOは、Matbench実験的バンドギャップ回帰タスクにおいて新たな最先端性能を達成し、平均絶対誤差（MAE）を現在の最良モデル比で4.5%低減した。

ABSTRACT

Expensive-to-train deep learning models can benefit from an optimization of the hyperparameters that determine the model architecture. We optimize 23 hyperparameters of a materials informatics model, Compositionally-Restricted Attention-Based Network (CrabNet), over 100 adaptive design iterations using two models within the Adaptive Experimentation (Ax) Platform. This includes a recently developed Bayesian optimization (BO) algorithm, sparse axis-aligned subspaces Bayesian optimization (SAASBO), which has shown exciting performance on high-dimensional optimization tasks. Using SAASBO to optimize CrabNet hyperparameters, we demonstrate a new state-of-the-art on the experimental band gap regression task within the materials informatics benchmarking platform, Matbench (~4.5% decrease in mean absolute error (MAE) relative to incumbent). Characteristics of the adaptive design scheme as well as feature importances are described for each of the Ax models. SAASBO has great potential to both improve existing surrogate models, as shown in this work, and in future work, to efficiently discover new, high-performing materials in high-dimensional materials science search spaces.

研究の動機と目的

• ハイパーパrameter最適化が、すでに最先端性能に達しているモデルをさらに向上させられるかどうかを調査すること。
• 特にSAASBOを用いた高次元ベイズ最適化の有効性が、材料特性予測のためのディープラーニングモデルのチューニングにどのように効果を発揮するかを評価すること。
• 最適化されたハイパーパrameterが、実験的バンドギャップ以外の材料特性やデータモダリティにも一般化可能かどうかを評価すること。
• 計算コストが高いために実用的であるとされるモデルを用いて、材料情報学におけるハイパーパrameter最適化のベンチマークを確立すること。

提案手法

• ガウス過程期待改善（GPEI）とSAASBOの2つのモデルを用いた、Axベイズ最適化プラットフォームを活用する。
• スパースな軸平行部分空間と逆長尺度に対する強い事前分布を用いることで、過学習を防ぐ高次元BOアルゴリズムであるSAASBOを適用する。
• 4,604個の組成ベースのデータポイントを有するMatbenchのmatbench_expt_gapデータセットに対して、ネストド5分割交差検証を実施する。
• 学習率、層の数、ドロップアウト率、トレーニングエポック数を含む、CrabNetの23のハイパーパrameterを最適化する。
• GPEIでは期待改善を獲得関数として用い、特徴量の重要度推定には自動関連性決定（ARD）を活用する。
• Sobol系列を初期探索に用い、その後ベイズ最適化に従って進化する100回の適応的設計反復を実施する。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパラメータ最適化は、すでに最先端性能に達しているモデルをどの程度向上させられるか？
• RQ2 古典的BOと比較して、SAASBOは材料情報学モデルの高次元ハイパーパラメータ空間においてどのように性能を発揮するか？
• RQ3 CrabNetの実験的バンドギャップタスクにおける予測精度向上に最も寄与するハイパーパラメータは何か？
• RQ4 最適化されたハイパーパラメータは、実験的バンドギャップ以外の材料特性やデータタイプに対しても一般化可能か？

主な発見

• SAASBOは、Matbenchの実験的バンドギャップ回帰タスクにおいて、平均絶対誤差（MAE）を4.5%相対的に低減し、新たな最先端性能を達成した。
• 最適化されたトレーニングエポック数は、5つの交差検証の全フェルドで最大許容値（80）に達しており、より長いトレーニングが有益であり、早期停止による制限はないことが示された。
• SAASBOは、後期の反復において、搧取よりも探索を強く重視する傾向を示しており、高次元空間における過学習に対して強い耐性を示した。
• 特徴量の重要度分析から、エポック数が最も影響力のあるハイパーパラメータであり、次に学習率とドロップアウト率が続くことが明らかになった。
• Sobol初期化に続くBO反復による適応的設計スキームは、高次元ハイパーパラメータ空間の有効な探索に成功した。
• 結果として、SAASBOが材料情報学における効率的なハイパーパラメータ最適化の強力なツールであることが裏付けられ、材料発見分野への広範な応用が期待できる。