[論文レビュー] MATSuMoTo: The MATLAB Surrogate Model Toolbox For Computationally Expensive Black-Box Global Optimization Problems

Juliane Mueller|arXiv (Cornell University)|Apr 16, 2014

Advanced Multi-Objective Optimization Algorithms参考文献 24被引用数 43

ひとこと要約

MATsuMoTo は、連続変数、混合整数変数、または純粋整数変数を含む計算的に高価なブラックボックスのグローバル最適化問題を対象とした MATLAB ベースのサーモンモデルツールボックスである。適応的サンプリング戦略と、径数基底関数やクリギングなどのサーモンモデルを用い、並列関数評価を組み合わせることで、限られた数の高価な関数評価の中で近似的な最適解を効率的に特定する。

ABSTRACT

MATSuMoTo is the MATLAB Surrogate Model Toolbox for computationally expensive, black-box, global optimization problems that may have continuous, mixed-integer, or pure integer variables. Due to the black-box nature of the objective function, derivatives are not available. Hence, surrogate models are used as computationally cheap approximations of the expensive objective function in order to guide the search for improved solutions. Due to the computational expense of doing a single function evaluation, the goal is to find optimal solutions within very few expensive evaluations. The multimodality of the expensive black-box function requires an algorithm that is able to search locally as well as globally. MATSuMoTo is able to address these challenges. MATSuMoTo offers various choices for surrogate models and surrogate model mixtures, initial experimental design strategies, and sampling strategies. MATSuMoTo is able to do several function evaluations in parallel by exploiting MATLAB's Parallel Computing Toolbox.

研究の動機と目的

• 導出情報が入手できない計算的に高価なブラックボックス問題におけるグローバル最適化の課題に対処すること。
• 連続変数、混合整数変数、または純粋整数変数を含む問題に対して、効率的な最適化を可能にすること。
• サーモンモデルと適応的サンプリング戦略を活用することで、高価な関数評価回数を最小限に抑えること。
• MATLAB の Parallel Computing Toolbox を用いて並列関数評価を可能にし、収束を加速すること。
• 研究者や実務家が複雑なシミュレーションベース最適化問題を解くために柔軟で拡張可能なフレームワークを提供すること。

提案手法

• 高価な目的関数の計算的に安価な近似として、サーモンモデル（例：径数基底関数、クリギング、多項式モデル）を用いる。
• 初期実験計画戦略として、3 種類の手法—ラテンハイパーボリューム、マキシミン、一様サンプリング—を用い、初期サンプル集合を生成する。
• 2 種類の主なサンプリング戦略を実装する：(1) 連続変数では fmincon を用いたサーモンモデルの局所的最小化、整数／混合整数変数では ga を用いる；(2) 既存の点からの最小距離を最大化することで、グローバルなモデル適合を向上させる。
• 局所最適解に陥るのを防ぐために、適応的摂動戦略を適用する：3 回連続で失敗した後、摂動範囲を 2 倍にし、5 回の減少が発生した場合は再起動する。
• 各イテレーションで MATLAB の Parallel Computing Toolbox を用いて関数評価を並列化し、自動的なワーカープール管理を実施する。
• 理想状態下でグローバル収束を保証する漸近的完全性を確保することで、局所最適解での早期停滞を防止する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてサーモンモデルと適応的サンプリングを効果的に組み合わせ、ブラックボックス最適化における高価な関数評価回数を最小化できるか？
• RQ2 多モードで高価な最適化問題において、局所的精緻化とグローバル探索のバランスを取るために、どのサンプリング戦略が最も効果的か？
• RQ3 サーモンモデルを用いた場合、並列計算は高価な最適化タスクの実行時間をどの程度短縮できるか？
• RQ4 混合整数および純粋整数変数問題に対応できるように、サーモンモデルベースのアルゴリズムをどのように適合できるか？
• RQ5 サーモンモデルの選択やアンサンブル戦略が、グローバル最適化における収束性と解の品質に与える影響は何か？

主な発見

• MATsuMoTo は、サーモンモデルを用いて連続変数、混合整数変数、純粋整数変数の最適化問題をサポートする唯一の既知のツールボックスである。
• このツールボックスは漸近的完全性を達成しており、理想状態下では確率 1 でグローバル最適解に収束することが保証される。
• 並列評価機能により、複数のワーカーが利用可能な場合、特に初期計画段階と反復的サンプリング段階で実行時間が顕著に短縮される。
• サーモンモデルの最小値に基づくサンプリング戦略（SurfMin）と最小距離最大化戦略を組み合わせることで、探索空間の未到達領域の探索が向上する。
• 適応的摂動メカニズムにより、繰り返しの失敗後に動的に探索強度を調整することで、局所最適解での停滞を防止できる。
• サーモンモデルの構築にかかる計算オーバーヘッドは、高価な関数評価に比べて無視できるほど小さいため、1 回の評価に数分から数時間かかる問題に特に適している。