[論文レビュー] Bayesian Optimization for Materials Design with Mixed Quantitative and Qualitative Variables

Yichi Zhang, Daniel W. Apley+1 more|arXiv (Cornell University)|Oct 3, 2019

Advanced Multi-Objective Optimization Algorithms被引用数 9

ひとこと要約

本稿では、定量的および定性的変数を併用する材料設計を対象とした、ベイズ最適化と統合された新規な潜在変数ガウス過程（LVGP）フレームワークを提案する。定性的要因を潜在的な数値変数にマッピングすることで、従来のダミー変数手法に比べて複雑な相関関係をより効果的に捉えることができ、数値的および材料設計の実例において、優れたモデル化精度と直感的な可視化を実現した。

ABSTRACT

Although Bayesian Optimization (BO) has been employed for accelerating materials design in computational materials engineering, existing works are restricted to problems with quantitative variables. However, real designs of materials systems involve both qualitative and quantitative design variables representing material compositions, microstructure morphology, and processing conditions. For mixed-variable problems, existing Bayesian Optimization (BO) approaches represent qualitative factors by dummy variables first and then fit a standard Gaussian process (GP) model with numerical variables as the surrogate model. This approach is restrictive theoretically and fails to capture complex correlations between qualitative levels. We present in this paper the integration of a novel latent-variable (LV) approach for mixed-variable GP modeling with the BO framework for materials design. LVGP is a fundamentally different approach that maps qualitative design variables to underlying numerical LV in GP, which has strong physical justification. It provides flexible parameterization and representation of qualitative factors and shows superior modeling accuracy compared to the existing methods. We demonstrate our approach through testing with numerical examples and materials design examples. It is found that in all test examples the mapped LVs provide intuitive visualization and substantial insight into the nature and effects of the qualitative factors. Though materials designs are used as examples, the method presented is generic and can be utilized for other mixed variable design optimization problems that involve expensive physics-based simulations.

研究の動機と目的

• 既存のベイズ最適化手法が、材料系における混合された定量的および定性的設計変数を効果的に扱えないという限界に対処すること。
• ダミー変数符号化の欠陥を克服する理論的かつ柔軟な定性的要因モデリング手法を、ガウス過程回帰において開発すること。
• 提案された潜在変数ガウス過程モデルを、高価なシミュレーションを伴う効率的な材料設計のためのベイズ最適化フレームワークに統合すること。
• 数値的および実材料設計の事例研究を通じて、本手法の有効性を示し、精度と解釈可能性の向上を確認すること。
• 材料科学をはるかに超えた、高価なシミュレーションを伴う混合変数最適化問題へも適用可能な汎用的ソリューションを提供すること。

提案手法

• 定性的要因の各水準を連続的な潜在空間内の点にマッピングする潜在変数（LV）表現を導入し、柔軟かつ物理的に妥当なモデリングを可能にする。
• 潜在変数を用いて新たなガウス過程モデルを構築し、ダミー変数では捉えきれない定性的水準間の複雑な相関構造を表現可能にする。
• LVGPモデルをベイズ最適化フレームワークに統合し、期待改善（Expected Improvement）などの獲得関数を用いて最適設計の探索を支援する。
• 潜在変数は最尤推定を用いてモデル学習中に学習され、過学習を防ぐために正則化が施される。
• 潜在空間の適切なパrameter化により、カテゴリカルおよび順序的定性的変数の両方を扱える。
• 潜在変数を低次元空間に投影することで、定性的要因の効果を直感的に可視化できる。

実験結果

リサーチクエスチョン

• RQ1 材料設計における混合変数問題、特に定量的および定性的設計要因を併用する状況において、どのようにしてベイズ最適化を効果的に拡張できるか。
• RQ2 ガウス過程モデリングにおいて定性的要因にダミー変数を用いる際の限界は何か。それらの限界をどのように克服できるか。
• RQ3 標準的手法に比べ、潜在変数ガウス過程モデルは定性的要因水準間の複雑な相関関係をよりよく捉えることができるか。
• RQ4 提案されたLVGP-ベイズ最適化フレームワークは、材料設計問題において収束速度および精度の点でどのように性能を発揮するか。
• RQ5 潜在変数は、定性的設計要因の効果に関する解釈可能なインサイトをどの程度提供できるか。

主な発見

• LVGPモデルは、すべてのテスト例において標準的なダミー変数GPアプローチに比べ、顕著に高いモデル化精度を達成し、予測性能の向上が明確に測定された。
• 潜在変数は、定性的要因水準間の意味のあるパターンや関係性を明らかにする直感的で低次元の可視化を提供した。
• 材料設計の実例において、本手法はベースライン手法に比べ、より効率的に最適な材料組成および処理条件を同定し、高価なシミュレーションの回数を削減した。
• 本手法は、ダミー変数符号化では表現できなかった複雑で非線形的な定性的要因水準間の相関関係を効果的に捉えた。
• フレームワークは、合成的および現実の材料設計問題の両方で、強固で一般化可能であることが示され、優れた性能を発揮した。
• 潜在変数の可視化により、材料挙動の背後にある物理的メカニズムに関する実用的で有用なインサイトが得られ、設計理解が向上した。