[論文レビュー] On the choice of the low-dimensional domain for global optimization via random embeddings

Mickaël Binois, David Ginsbourger+1 more|arXiv (Cornell University)|Apr 14, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 64被引用数 48

ひとこと要約

この論文は、高次元ブラックボックス最適化問題におけるランダム埋め込みを用いたグローバル最適化の際に、適切な低次元ドメインを選択するという重要な課題に取り組む。ランダム埋め込みの幾何的性質を分析することで、元のボックス制約の直交射影に基づく、最小でコンactな探索ドメインを定義する改善された埋め込み手順を提案する。これにより、特に評価予算が限られた状況でも、ベイズ最適化のロバスト性と性能が著しく向上する。

ABSTRACT

The challenge of taking many variables into account in optimization problems may be overcome under the hypothesis of low effective dimensionality. Then, the search of solutions can be reduced to the random embedding of a low dimensional space into the original one, resulting in a more manageable optimization problem. Specifically, in the case of time consuming black-box functions and when the budget of evaluations is severely limited, global optimization with random embeddings appears as a sound alternative to random search. Yet, in the case of box constraints on the native variables, defining suitable bounds on a low dimensional domain appears to be complex. Indeed, a small search domain does not guarantee to find a solution even under restrictive hypotheses about the function, while a larger one may slow down convergence dramatically. Here we tackle the issue of low-dimensional domain selection based on a detailed study of the properties of the random embedding, giving insight on the aforementioned difficulties. In particular, we describe a minimal low-dimensional set in correspondence with the embedded search space. We additionally show that an alternative equivalent embedding procedure yields simultaneously a simpler definition of the low-dimensional minimal set and better properties in practice. Finally, the performance and robustness gains of the proposed enhancements for Bayesian optimization are illustrated on numerical examples.

研究の動機と目的

• 高次元グローバル最適化にランダム埋め込みを用いる際、効果的な低次元探索ドメインを定義することの難しさに対処する。
• 探索ドメインがあまりに制限的すぎる（グローバル最適解を逃すリスク）と、あまりに広すぎる（収束が遅くなる）というトレードオフを克服する。
• ランダム埋め込み下で元の探索空間を完全にカバーすることを保証する、数学的に整合性のある最小のコンパクト集合を低次元ドメインに提供する。
• 特に評価予算が限られた状況でも、ランダム埋め込みに依存するベイズ最適化手法の実用的性能とロバスト性を向上させる。
• 低次元ドメインの定義を簡素化し、最適化の効率性と信頼性を高める代替埋め込み手順を提案する。

提案手法

• 元のボックス制約の下での埋め込み写像における前像として、最小の低次元集合を定義し、すべての妥当な解がカバーされることを保証する。
• 高次元ドメインの直交射影からのバックプロジェクションを用いた代替埋め込み手順を導入し、ドメイン定義を簡素化する。
• ランダム射影と凸幾何学の性質を活用して、埋め込みドメインをゾノトープとして特徴付ける。
• 新しい埋め込みを用いて、元の解空間を高い確率で保持する、コンパクトで有界な低次元ドメイン内の探索空間を定義する。
• ガウス過程を surrogate モデルとして用い、改善されたドメイン選択を REMBO（Random EMbedding Bayesian Optimization）フレームワークに適用する。
• さまざまな次元と予算条件下で、標準的なテスト関数を用いて性能を比較し、最適性ギャップと収束速度を評価する。

実験結果

リサーチクエスチョン

• RQ1 ランダム埋め込み下で、元の探索空間を完全にカバーするための、低次元ドメインにおける最小のコンパクト集合は何か？
• RQ2 低次元ドメインの選択が、ランダム埋め込みに基づく最適化の収束性とロバスト性にどのように影響するか？
• RQ3 代替埋め込み手順により、低次元探索ドメインの定義が簡素化されるとともに、最適化性能が向上するか？
• RQ4 より注意深く定義された低次元ドメインを用いることで、関数評価回数が限られたベイズ最適化において、より良い性能が得られるか？
• RQ5 標準 REMBO や他のベースライン（例：ランダムサーチ、EBO）と比較して、提案手法はロバスト性と収束速度の面でどのように差をつけるか？

主な発見

• ランダム埋め込み下で元の探索空間を完全にカバーするための最小の低次元集合は、埋め込み写像におけるボックス制約の前像である。
• 直交射影とバックプロジェクションに基づく、代替埋め込み手順により、低次元ドメインの定義がより単純かつ直感的になる。
• 新しいドメイン定義により、グローバル最適解を逃すリスクが著しく低減され、特に評価予算が限られた状況でもロバスト性が向上する。
• 数値実験の結果、改善されたドメイン選択は、標準 REMBO や他のベースライン（例：RO、EBO）を上回り、収束速度と中央値の最適性ギャップの面で優れる。特に高次元問題で顕著な改善が得られる。
• Branin、Hartman6、Borehole、Cola といった複数のテスト関数において、性能向上が一貫して観察され、高次元または非分離的設定で最大の改善が得られる。
• 変数数 D が増加しても、本手法は強力な性能を維持し、次元の増大に対してスケーラブルで、耐性があることが示された。