[論文レビュー] Deep Learning for Bayesian Optimization of Scientific Problems with High-Dimensional Structure

Samuel Kim, Peter Y. Lu+4 more|arXiv (Cornell University)|Apr 23, 2021

Machine Learning in Materials Science被引用数 11

ひとこと要約

本稿では、高次元の科学的問題におけるベイズ最適化（BO）のスケーラブルで構造的な代理モデルとして、ベイジアンニューラルネットワーク（BNNs）の使用を提案する。BNNsは、従来のガウス過程（GPs）に比べ、サンプリング効率と計算コストの両面で優れている。本研究では、畳み込みニューラルネットワーク（CNNs）を用いたフォトニクス結晶トポロジー最適化と、グラフニューラルネットワーク（GNNs）を用いた分子性質予測の両方で成功を収め、BNNsが誘導的バイアスと補助データを効果的に活用して最適化性能を向上させることを示している。

ABSTRACT

Bayesian optimization (BO) is a popular paradigm for global optimization of expensive black-box functions, but there are many domains where the function is not completely a black-box. The data may have some known structure (e.g. symmetries) and/or the data generation process may be a composite process that yields useful intermediate or auxiliary information in addition to the value of the optimization objective. However, surrogate models traditionally employed in BO, such as Gaussian Processes (GPs), scale poorly with dataset size and do not easily accommodate known structure. Instead, we use Bayesian neural networks, a class of scalable and flexible surrogate models with inductive biases, to extend BO to complex, structured problems with high dimensionality. We demonstrate BO on a number of realistic problems in physics and chemistry, including topology optimization of photonic crystal materials using convolutional neural networks, and chemical property optimization of molecules using graph neural networks. On these complex tasks, we show that neural networks often outperform GPs as surrogate models for BO in terms of both sampling efficiency and computational cost.

研究の動機と目的

• ベイズ最適化における高次元で構造的な科学的データへのスケーリングの限界を克服すること。
• 既知の構造的誘導的バイアス（例：対称性、不変性）と補助情報を代理モデルに統合し、最適化の効率を向上させること。
• 実世界の物理学および化学的問題において、BNNsがGPsに比べてサンプリング効率と計算コストの両面で優れていることを実証すること。
• 事前学習モデルを必要とせずに、画像や分子グラフなどの複雑で高次元の入力を用いたBOを可能にすること。
• ナノ粒子の散乱やQM9分子性質を含む多様な科学的データセットにおいて、BNNベースのBOのロバストネスとパフォーマンスを評価すること。

提案手法

• GPsに比べてスケーラビリティと柔軟性に優れるBNNsをBOにおける代理モデルとして採用する。
• フォトニクス結晶設計のような空間的構造を持つ入力データをモデル化するために、畳み込みニューラルネットワーク（CNNs）を用いる。
• 分子グラフとグラフ構造データからの化学的性質予測をモデル化するために、グラフニューラルネットワーク（GNNs）を適用する。
• シミュレーションから得られる補助的または中間的出力（例：全散乱スペクトル、複数の量子化学的性質）を統合し、代理モデルの精度と最適化性能を向上させる。
• 変分推論と確率的勾配ハミルトニアンモンテカルロ（SGHMC）を用いて、不確実性を考慮した学習による事後分布の近似を実装する。
• 実科学データセット上で、BNNベースのBOをGPs、アンサンブル、非ベイジアン手法と比較し、パフォーマンスとロバストネスを評価する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワークは、高次元で構造的な科学的データに対するベイズ最適化におけるガウス過程の代替として、効果的に機能するか？
• RQ2 科学的シミュレーションから得られる補助的または中間的データの統合は、BOにおける最適化パフォーマンスをどのように向上させるか？
• RQ3 CNNs や GNNs に組み込まれた誘導的バイアスは、物理学および化学の応用におけるBOの効率性と正確性をどの程度向上させるか？
• RQ4 サンプリング効率と計算コストの観点から、BNNベースのBO手法はGPsや非ベイジアン最適化手法に比べてどのように差をつけるか？
• RQ5 ランダムシードの選択やハイパーパrameterの選定といった要因が、BNNベースのBOのパフォーマンスに最も顕著に影響を与える要因は何か？

主な発見

• フォトニクス結晶トポロジー最適化や分子性質予測といった複雑な科学的タスクにおいて、BNNsはGPsに比べてサンプリング効率と計算コストの両面で一貫して優れている。
• 全散乱スペクトルや複数の量子化学的性質といった補助データの使用は、追加の誘導的バイアスを代理モデルに与えることで、最適化パフォーマンスを顕著に向上させる。
• グラフニューラルネットワークと畳み込みニューラルネットワークは、分子および画像ベースの入力における構造的誘導的バイアスを効果的に捉え、次元削減を伴わずに高次元BOを可能にする。
• VAE-GPベンチマークのパフォーマンスは、事前学習されたVAEのランダムシードに極めて敏感であり、ハイパーパrameterチューニングよりも事前学習の品質が主要因であることを示している。
• BOHAMIANNのような手法は、SGHMCによる事後分布の効果的探索により、マルチモーダルな目的関数に対して優れたパフォーマンスを示すが、SGHMCサンプリングのため計算コストが高くなる。
• 無限幅ニューラルネットワークの近似はBOにおいて劣った性能を示し、有限幅ネットワークのダイナミクスを捉えられていないこと、およびハイパーパrameterに敏感であることが示唆された。