[論文レビュー] Scalable and Flexible Deep Bayesian Optimization with Auxiliary Information for Scientific Problems.

Samuel Kim, Peter Y. Lu+4 more|arXiv (Cornell University)|Apr 23, 2021

Machine Learning in Materials Science参考文献 7被引用数 4

ひとこと要約

本稿では、構造的データと補助情報を持つ科学的問題におけるベイジアン最適化（BO）において、スケーラブルで柔軟なスラッグモデルとしてベイジアンニューラルネットワーク（BNNs）を提案する。BNNsの複雑なパターンをモデル化し、既知の対称性や中間データを組み込む能力を活用することで、物理学および化学の最適化タスク（例えば、光子結晶トポロジーと分子性質最適化を含む）において、ガウス過程（GPs）よりも優れたサンプリング効率と低い計算コストを達成する。

ABSTRACT

Bayesian optimization (BO) is a popular paradigm for global optimization of expensive black-box functions, but there are many domains where the function is not completely black-box. The data may have some known structure, e.g. symmetries, and the data generation process can yield useful intermediate or auxiliary information in addition to the value of the optimization objective. However, surrogate models traditionally employed in BO, such as Gaussian Processes (GPs), scale poorly with dataset size and struggle to incorporate known structure or auxiliary information. Instead, we propose performing BO on complex, structured problems by using Bayesian Neural Networks (BNNs), a class of scalable surrogate models that have the representation power and flexibility to handle structured data and exploit auxiliary information. We demonstrate BO on a number of realistic problems in physics and chemistry, including topology optimization of photonic crystal materials using convolutional neural networks, and chemical property optimization of molecules using graph neural networks. On these complex tasks, we show that BNNs often outperform GPs as surrogate models for BO in terms of both sampling efficiency and computational cost.

研究の動機と目的

• 大規模で構造的な科学的問題におけるベイジアン最適化（BO）におけるガウス過程（GPs）の限界を克服すること。
• 最適化プロセスにおいて、既知の構造的性質（例：対称性）や補助情報を効果的に活用できること。
• 複雑なデータ（例：グラフや画像）を処理しつつ、不確実性の定量化を維持したままスケーラブルで柔軟なスラッグモデリング手法を開発すること。
• 実世界の科学的応用におけるベイジアン最適化のサンプリング効率を向上させ、計算コストを低減すること。
• 光子結晶設計や分子性質最適化といった物理学および化学分野の挑戦的問題において、本手法の有効性を示すこと。

提案手法

• 従来のガウス過程（GPs）に代えて、ベイジアン最適化におけるスラッグモデルとしてベイジアンニューラルネットワーク（BNNs）を用いる。
• 畳み込みグリッド（例：光子結晶）やグラフ構造データ（例：分子）などの複雑で構造的なデータをモデル化するためのBNNの表現力を利用する。
• トレーニング中にBNNアーキテクチャに中間出力や構造的対称性などの補助情報を直接組み込む。
• 不確実性推定値を用いて最適化プロセスを誘導する、アクティブラーニングの獲得関数（例：期待改善）を適用する。
• 変分推論を用いてBNNをトレーニングすることで、スケーラビリティを確保しながら不確実性の定量化を維持する。
• ドメイン固有のインダクティブバイアスをエンコードするための構造的ニューラルネットワークアーキテクチャ（例：空間データにはCNN、分子グラフにはGNN）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンニューラルネットワーク（BNNs）は、科学的問題におけるベイジアン最適化のスラッグモデルとして、ガウス過程（GPs）を上回ることができるか？
• RQ2 BNNsは最適化タスクにおいて、既知の構造的性質や補助情報をどの程度効果的に統合できるか？
• RQ3 BNNsの使用は、実世界の科学的最適化において、GPsと比較してサンプリング効率が向上し、計算コストが低減するか？
• RQ4 BNNsは不確実性推定値を維持したまま、大規模データセットへどの程度スケーリングできるか？
• RQ5 BNNベースのBOは、光子結晶トポロジー最適化や分子性質最適化といった複雑な科学的問題において、より優れたパフォーマンスを達成できるか？

主な発見

• BNNsは、複雑な科学的最適化タスクにおいてGPsを上回るサンプリング効率を示し、最適解に到達するための関数評価回数を削減する。
• BNNsの使用により、補助情報や構造的事前知識（例：対称性）を最適化プロセスに効果的に統合できる。
• BNNsはGPsよりも大規模データセットにさらに効果的にスケーリングでき、実世界の科学的応用における計算の実行可能性を維持する。
• 畳み込みニューラルネットワークを用いた光子結晶トポロジー最適化では、BNNベースのBOがGPsベースのBOよりも高速に収束し、より優れたパフォーマンスを示した。
• グラフニューラルネットワークを用いた分子性質最適化では、BNNsがGPsに比べて優れたサンプル効率と低い計算コストを示した。
• 本手法は変分推論により不確実性の定量化を維持しており、BOにおける信頼性の高い探索・活用のトレードオフを可能にする。