[論文レビュー] Multi-Fidelity Bayesian Optimization via Deep Neural Networks

Shibo Li, Wei Xing+2 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Multi-Objective Optimization Algorithms被引用数 4

ひとこと要約

本稿では、ブラックボックス目的関数の複数の忠実度レベル間の複雑な非線形相関をモデル化するために深層ニューラルネットワークを活用する、Deep Neural Network Multi-Fidelity Bayesian Optimization (DNN-MFBO) を提案する。忠実度別ガウス＝エルミート求積およびモーメントマッチングを相互情報量に基づく獲得関数に統合することで、計算コストを低減しつつ、高い精度と効率性を実現する。合成および実世界の工学的ベンチマークにおいて、既存手法を上回る性能を発揮する。

ABSTRACT

Bayesian optimization (BO) is a popular framework to optimize black-box functions. In many applications, the objective function can be evaluated at multiple fidelities to enable a trade-off between the cost and accuracy. To reduce the optimization cost, many multi-fidelity BO methods have been proposed. Despite their success, these methods either ignore or over-simplify the strong, complex correlations across the fidelities, and hence can be inefficient in estimating the objective function. To address this issue, we propose Deep Neural Network Multi-Fidelity Bayesian Optimization (DNN-MFBO) that can flexibly capture all kinds of complicated relationships between the fidelities to improve the objective function estimation and hence the optimization performance. We use sequential, fidelity-wise Gauss-Hermite quadrature and moment-matching to fulfill a mutual information-based acquisition function, which is computationally tractable and efficient. We show the advantages of our method in both synthetic benchmark datasets and real-world applications in engineering design.

研究の動機と目的

• 既存の多忠実度ベイズ最適化手法が忠実度レベル間の複雑な相関を単純化または無視するという限界を是正すること。
• 深層ニューラルネットワークを用いて、複数の忠実度レベル間の複雑で非線形的な関係を捉えることで、目的関数の推定精度を向上させること。
• アクティブラーニングに相互情報量を活用しつつも、計算が容易に保たれるように、計算的に効率的な獲得関数を開発すること。
• ブラックボックス関数最適化における評価コストと忠実度の正確さのトレードオフを効果的に制御することで、最適化コストを低減すること。
• 最先端の手法と比較して、合成ベンチマークおよび実世界の工学的設計問題の両方で優れた性能を示すことを実証すること。

提案手法

• 低・高忠実度の目的関数間の結合的関係をモデル化するための深層ニューラルネットワークアーキテクチャを提案し、複雑で非線形的な依存関係を捉える。
• 相互情報量に基づく獲得関数における期待値を近似するために、忠実度別に逐次的ガウス＝エルミート求積を採用し、最適化を容易にする。
• 目的関数の事後平均および分散を忠実度全体にわたって効率的に計算するためのモーメントマッチング技術を導入する。
• 探索と活用のバランスを保ちつつ、忠実度固有の不確実性を考慮した、相互情報量に基づく獲得関数を設計する。
• 深層ニューラルネットワークを用いた階層ベイズモデルを構築し、複数の忠実度レベルにおける目的関数の平均および共分散構造を同時にモデル化する。
• 獲得関数に基づいて次回の評価点を選択する逐次的最適化戦略を採用し、反復的にモデルを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、多忠実度ベイズ最適化における低・高忠実度評価間の複雑で非線形的な相関を効果的にモデル化できるか？
• RQ2 DNN-MFBOは、既存の多忠実度BOアプローチと比較して、収束速度および最終的な解の質においてどのように優れているか？
• RQ3 忠実度別ガウス＝エルミート求積およびモーメントマッチングを用いることで、正確性を損なわずに計算効率がどの程度向上するか？
• RQ4 DNN-MFBOにおける相互情報量に基づく獲得関数は、標準的な獲得関数と比較して、より優れた探索・活用のトレードオフを実現するか？
• RQ5 DNN-MFBOは、多様な実世界の工学的設計問題に一般化可能であり、安定した性能を維持できるか？

主な発見

• DNN-MFBOは、非線形な忠実度関係を有する合成ベンチマーク関数において、ベースラインの多忠実度BO手法よりも高速な収束と高い解の質を達成した。
• 低忠実度評価を効果的に活用することで、高価な高忠実度評価の回数を削減し、大幅なコスト削減を実現した。
• 実験結果から、深層ニューラルネットワークによる忠実度相関のモデル化が、線形モデルやカーネルベースのモデルと比較して、より正確な目的関数推定を可能にすることが示された。
• 忠実度別ガウス＝エルミート求積およびモーメントマッチングの活用により、獲得関数の計算が効率的に行えるようになり、高次元入力に対してもスケーラビリティを維持した。
• 実世界の工学的設計応用において、DNN-MFBOは、より少ない評価回数で最適設計を特定する点で、既存手法を上回った。これにより、実用的価値が確認された。
• DNN-MFBOにおける相互情報量に基づく獲得関数は、特に複数の忠実度にわたる高い不確実性を示す領域での探索をより効果的に実現した。