[論文レビュー] Cross-Entropy Method Variants for Optimization

Robert J. Moss|arXiv (Cornell University)|Sep 18, 2020

Gaussian Processes and Bayesian Inference参考文献 14被引用数 5

ひとこと要約

本稿では、計算コストが高く、マルチモーダルな問題における最適化を改善するため、交差エントロピー法のCE-surrrogateおよびCE-mixture変種を提案する。ガウス過程の補間モデルとガウス混合事前分布を統合することにより、局所的最小値への収束を低減しつつ、真の目的関数評価回数を同じに保った。実験では、CE-surrrogateが優れた性能を示した。

ABSTRACT

The cross-entropy (CE) method is a popular stochastic method for optimization due to its simplicity and effectiveness. Designed for rare-event simulations where the probability of a target event occurring is relatively small, the CE-method relies on enough objective function calls to accurately estimate the optimal parameters of the underlying distribution. Certain objective functions may be computationally expensive to evaluate, and the CE-method could potentially get stuck in local minima. This is compounded with the need to have an initial covariance wide enough to cover the design space of interest. We introduce novel variants of the CE-method to address these concerns. To mitigate expensive function calls, during optimization we use every sample to build a surrogate model to approximate the objective function. The surrogate model augments the belief of the objective function with less expensive evaluations. We use a Gaussian process for our surrogate model to incorporate uncertainty in the predictions which is especially helpful when dealing with sparse data. To address local minima convergence, we use Gaussian mixture models to encourage exploration of the design space. We experiment with evaluation scheduling techniques to reallocate true objective function calls earlier in the optimization when the covariance is the largest. To test our approach, we created a parameterized test objective function with many local minima and a single global minimum. Our test function can be adjusted to control the spread and distinction of the minima. Experiments were run to stress the cross-entropy method variants and results indicate that the surrogate model-based approach reduces local minima convergence using the same number of function evaluations.

研究の動機と目的

• マルチモーダル最適化問題において、交差エントロピー法が局所的最小値に収束する傾向を是正すること。
• 信念更新の補助として補間モデルを用いることで、真の目的関数評価の回数に依存するのを低減すること。
• 設計空間の探索を高めるために、ガウス混合モデルを事前分布として用いること。
• 共分散が最大となる時期に真の関数呼び出しを早期に再割り当てすることで、評価スケジューリングを最適化すること。
• 最小値の分散や明確さが変化する状況を体系的かつ制御可能に評価できるように、調整可能なテスト関数を開発すること。

提案手法

• CE-surrrogate変種では、ガウス過程を用いて目的関数の補間モデルを構築し、スパースなデータから不確実性を考慮した予測を可能にする。
• CE法のエリートサンプルを用いて補間モデルを学習させ、その後のサンプリングをガイドすることで、真の評価の必要性を低減する。
• 評価スケジューリングは幾何分布または一様分布を用いて実装され、共分散が最大となる初期段階で真の関数呼び出しを優先する。
• CE-mixture変種では、事前分布をガウス混合でモデル化し、各エリートサンプルが成分を定義することで、競合する局所的最適解の探索を促進する。
• 標準CE法のサブルーチンを呼び出して、学習済み補間モデルを用いて混合モデルを最適化し、探索と活用の両方を組み合わせる。
• 最小値の分散と明確さを制御できるパラメータ化されたテスト関数「sierra」を導入し、多様な問題設定における体系的ベンチマークが可能になるようにする。

実験結果

リサーチクエスチョン

• RQ1 補間モデルを用いることで、真の目的関数評価回数を同じに保ったまま、交差エントロピー法における局所的最小値への収束を低減できるか？
• RQ2 真の評価が限られている状況で共分散が大きいとき、評価スケジューリングの影響は何か？
• RQ3 ガウス混合モデルを事前分布として用いることで、マルチモーダル最適化におけるグローバル最小値の発見が向上するか？
• RQ4 提案された変種は、標準CE法と比較して収束速度と精度の点でどのように異なるか？
• RQ5 補間モデルと混合事前分布を組み合わせることで、CE法の性能はどの程度向上できるか？

主な発見

• CE-surrrogate変種は、標準CE法を一貫して上回り、同じ真の評価回数でより低い平均目的関数値を達成した（例：実験1Cでは-0.0156 vs. -0.0065）。
• 初期平均が離れている状況では、CE法は早期に収束したが、CE-surrrogateとCE-mixtureはより良好な性能を維持した。特にCE-surrrogateは一貫した改善を示した。
• スパースな設定では、一様評価スケジュールが幾何分布を上回った。これは、初期段階で均等に真の関数呼び出しを割り当てる戦略が有益であることを示唆する。
• CE-surrrogateは実験1Cで0.474秒の実行時間を達成し、CE-mixture（2.57秒）よりも著しく高速だったが、収束品質においても標準CE法を上回った。
• 実験1Cでは、前倒し評価スケジューリングのため、CE-surrrogateは反復9回で停止したが、依然として標準CE法を上回る結果を達成した。
• パラメータ化された「sierra」関数により、最小値の分散と明確さを制御可能なテストが可能となり、提案手法の多様な問題設定へのロバスト性が検証された。