[論文レビュー] Black-Box Optimization with Local Generative Surrogates

S. Shirobokov, V. Belavin+3 more|arXiv (Cornell University)|Feb 11, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 58被引用数 23

ひとこと要約

本稿では、パラメータ空間の近傍で深層生成モデルを局所的サロゲートとして訓練することにより、ブラックボックスで確率的かつ微分不能なシミュレータを最適化する勾配ベースの手法、Local Generative Surrogate Optimization (L-GSO) を提案する。この手法により、低分散の勾配推定が可能となり、ベイズ最適化、数値微分、スコア関数推定器と比較してより高速な収束が達成される。特に、シミュレータのパラメータが低次元の部分多様体上にある場合に顕著である。

ABSTRACT

We propose a novel method for gradient-based optimization of black-box simulators using differentiable local surrogate models. In fields such as physics and engineering, many processes are modeled with non-differentiable simulators with intractable likelihoods. Optimization of these forward models is particularly challenging, especially when the simulator is stochastic. To address such cases, we introduce the use of deep generative models to iteratively approximate the simulator in local neighborhoods of the parameter space. We demonstrate that these local surrogates can be used to approximate the gradient of the simulator, and thus enable gradient-based optimization of simulator parameters. In cases where the dependence of the simulator on the parameter space is constrained to a low dimensional submanifold, we observe that our method attains minima faster than baseline methods, including Bayesian optimization, numerical optimization, and approaches using score function gradient estimators.

研究の動機と目的

• 物理学や工学分野に共通する、尤度が計算不能なため従来の勾配ベース手法が失敗する確率的かつ微分不能なシミュレータの最適化という課題に対処すること。
• 特に高次元のパラメータ空間において、最適化に必要な高価なシミュレータ呼び出し回数を削減すること。
• 高い分散や遅い収束という欠点を抱える、ベイズ最適化、数値微分、スコア関数推定器といった既存のベースライン手法を上回ること。
• シミュレータのパラメータが低次元の部分多様体上に制限されている場合に、局所的サロゲートモデリングを活用して効率的な探索を可能にする最適化を実現すること。
• 高曲率の目的関数に対応でき、微分可能な生成モデルを通じて低分散の勾配を維持できるスケーラブルで並列処理可能な手法を提供すること。

提案手法

• L-GSO は、パラメータ空間における現在のパラメータ点の近傍で、深層生成モデル（例：Cramer GAN）を局所的サロゲートとして訓練する。
• サロゲートモデルは、シミュレータの確率的出力分布 $ p(\mathbf{y}|\mathbf{x};\bm{\psi}) $ を近似し、バックプロパゲーションをサロゲートを介して実行することで、$ \bm{\psi} $ に関する目的関数の勾配を推定可能にする。
• 最適化の各ステップで、現在の $ \bm{\psi} $ の周囲の近傍からサンプリングされた少数のシミュレータ呼び出しを用いて、新たな局所的サロゲートを訓練する。これにより、グローバルモデリングと比較して計算コストを低減できる。
• 目的関数が連続的かつ微分可能であり、$ \bm{\psi} $ が連続変数であると仮定する。必要に応じて目的関数をサロゲートに組み込むことも可能である。
• 条件付き生成ネットワークは、パラメータ次元間の相関関係を学習し、サンプル点の間を補間することで、数値微分よりも少ないサンプル数で効果的な勾配推定を可能にする。
• 最適化は反復的に進行し、局所的サロゲートからの勾配を用いて $ \bm{\psi} $ を更新する。各ステップで、新たな近傍におけるサロゲートを再訓練する。

実験結果

リサーチクエスチョン

• RQ1 局所的生成サロゲートは、最小限のシミュレータ呼び出しで、確率的かつ微分不能なシミュレータに対する効果的な勾配ベース最適化を可能にするか？
• RQ2 ベイズ最適化、数値微分、スコア関数推定器と比較して、L-GSO は収束速度と解の品質においてどのように性能を発揮するか？
• RQ3 実世界の物理学や工学的応用でよく見られるように、シミュレータのパラメータが低次元の部分多様体上にある場合に、L-GSO は優れた性能を発揮するか？
• RQ4 サロゲートモデルが十分に一般化でき、高分散の代替手法よりも速い収束を促進する低分散の勾配推定を提供できるか？
• RQ5 L-GSO は、効率性と正確性を維持したまま、高次元のパラメータ空間へどの程度スケーリング可能か？

主な発見

• L-GSO は、トピック問題および実世界の物理学シミュレーションの両方において、ベイズ最適化、数値微分、スコア関数ベース手法よりも収束速度と解の品質で優れている。
• 部分多様体問題では、全パラメータ空間次元よりもはるかに少ないパラメータ点数でサロゲートを構築しても、L-GSO は最も速く収束する。これは、下位多様体の有効な学習がなされていることを示している。
• GEANT4 を用いた高エネルギー物理学の磁石設計問題において、L-GSO は約 5,000 回のシミュレータ呼び出し（ベイズ最適化と同等）で、過去のベイズ最適化解よりも目的関数値を約 25% 低く達成した。
• L-GSO で最適化された磁石設計は、BO で最適化された設計よりも短く軽量であったため、実験的効率が向上し、コストが削減されたと示唆される。
• ベイズ最適化は複数の部分多様体問題で収束しなかったが、L-GSO は一貫して成功しており、複雑で低曲率のパラメータ空間においてもそのロバスト性が示された。
• 本手法は低分散の勾配推定、高次元へのスケーラビリティ、高曲率の目的関数表面への適用可能性を示しており、複雑な科学的シミュレータに適した手法である。