[論文レビュー] Benchmarking the Performance of Bayesian Optimization across Multiple Experimental Materials Science Domains

Qiaohao Liang, Aldair E. Gongora+13 more|arXiv (Cornell University)|May 23, 2021

Machine Learning and Algorithms参考文献 40被引用数 11

ひとこと要約

本稿は、プールベースのアクティブラーニングフレームワークを用いて、炭素ナノチューブポリマー複合材料、シルバーナノ粒子、 lead-halide パーベスカイト、および添加製造されたポリマーの5つの実験的材料科学分野においてベイジアン最適化（BO）をベンチマークした。その結果、非等方的カーネル（ARD）を備えたガウス過程（GP）とランダムフォレスト（RF）が、ARDを備えない標準GPを大きく上回ることが判明し、自律的材料最適化キャンペーンにおけるサーモンモデル選定に関する実用的指針を提供した。

ABSTRACT

In the field of machine learning (ML) for materials optimization, active learning algorithms, such as Bayesian Optimization (BO), have been leveraged for guiding autonomous and high-throughput experimentation systems. However, very few studies have evaluated the efficiency of BO as a general optimization algorithm across a broad range of experimental materials science domains. In this work, we evaluate the performance of BO algorithms with a collection of surrogate model and acquisition function pairs across five diverse experimental materials systems, namely carbon nanotube polymer blends, silver nanoparticles, lead-halide perovskites, as well as additively manufactured polymer structures and shapes. By defining acceleration and enhancement metrics for general materials optimization objectives, we find that for surrogate model selection, Gaussian Process (GP) with anisotropic kernels (automatic relevance detection, ARD) and Random Forests (RF) have comparable performance and both outperform the commonly used GP without ARD. We discuss the implicit distributional assumptions of RF and GP, and the benefits of using GP with anisotropic kernels in detail. We provide practical insights for experimentalists on surrogate model selection of BO during materials optimization campaigns.

研究の動機と目的

• 異なる実験的材料科学分野におけるベイジアン最適化（BO）の一般化可能性と効率性を評価すること。
• 実験的制約下での実世界の材料最適化において、最も効果的なサーモンモデルとアクイシション関数の組み合わせを特定すること。
• ハイパフォーマンス実験環境におけるBOの性能をランダムサンプリングベースラインと定量的に比較するための指標を提供すること。
• 自律的材料発見プラットフォームにおけるサーモンモデル選定に向けた実践的でデータ駆動の推奨事項を提示すること。
• 実際のデータセットを用いた体系的評価の欠如を補うために、実験的材料科学におけるアクティブラーニングアルゴリズムの評価フレームワークを確立すること。

提案手法

• 初期段階の材料最適化を模擬するために、固定された実験データポイントのプールを用いるプールベースのアクティブラーニングフレームワークを採用した。
• 目的値と不確実性を予測するため、自動関連検出（ARD）を備えたガウス過程（GP）とARDを備えないGP、およびランダムフォレスト（RF）のサーモンモデルを用いた。
• 実験選定をガイドするため、期待改善（EI）、改善確率（PI）、下位信頼区間（LCB）の3つのアクイシション関数を適用した。
• 加速係数と強化係数といった統計的指標を用いて、BOの性能をランダムサンプリングと定量的に比較した。
• GPとRFモデルの事後平均と分散を用いてアクイシション関数値を計算し、GPはカーネルに基づく共分散に依存し、RFはアンサンブル平均を用いた。
• 実際の5つの異なる材料系からのデータセットを用いることで、実験的ノイズと現実世界のデータ変動を統合し、実証的妥当性を確保した。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化は、ランダムサンプリングと比較して、多様で実際の実験的材料科学データセットにおいてどのように性能を発揮するか？
• RQ2 ガウス過程（ARDあり）、ガウス過程（ARDなし）、ランダムフォレストのうち、どのサーモンモデルが複数の材料分野において最良の最適化性能を発揮するか？
• RQ3 期待改善（EI）、改善確率（PI）、下位信頼区間（LCB）といった異なるアクイシション関数は、材料最適化における収束速度と最終的な目的値にどのように影響を与えるか？
• RQ4 サーモンモデルにおける分布仮定の影響は、ノイズが多く、現実世界の実験環境においてBOの性能にどのように現れるか？
• RQ5 異なる材料系、特に設計空間の複雑さやノイズ特性に差がある分野において、BOの性能向上はどの程度変動するか？

主な発見

• 非等方的カーネル（ARD）を備えたガウス過程（ARD-GP）とランダムフォレスト（RF）は、5つの材料系すべてで同等の性能を発揮し、ARDを備えない標準GPを著しく上回った。
• ARD-GPおよびRFベースのBOの加速係数は、非ARD GPよりも一貫して高く、最適な材料特性への収束が速いことを示した。
• ARD-GPおよびRFモデルの強化係数は、5つのデータセットの少なくとも3つにおいて、ランダムサンプリングと比較して2.5倍以上であった。これは顕著な性能向上を示している。
• BOの性能はサーモンモデルの選定に敏感であり、非ARD GPは入力特徴量の重要性に関する誤った仮定により、一般化性能が著しく劣化した。
• ランダムフォレストはノイズや非ガウス分布に対して頑健であることが示され、変動が大きい実験環境におけるGPの強力な代替手段であることがわかった。
• ARD-GPと期待改善（EI）アクイシション関数の組み合わせが、ベンチマークされたすべての材料系において最も一貫性があり、速やかな収束を達成した。