[論文レビュー] Bayesian Optimization in a Billion Dimensions via Random Embeddings

Ziyu Wang, Frank Hutter+3 more|arXiv (Cornell University)|Jan 9, 2013

Advanced Multi-Objective Optimization Algorithms参考文献 54被引用数 15

ひとこと要約

本論文では、ランダム埋め込みを用いて高次元空間（最大10億次元）にまでスケーラブルなベイズ最適化を可能にする、ランダム埋め込みベイズ最適化（REMBO）を提案する。この手法は座標変換および回転変換に対して不変性を保ち、47パラメータの混合整数プログラミングソルバーにおいて最先端の性能を達成しており、内部次元が低い場合、たとえ埋め込み次元が3つ程度でも有効であることが示された。

ABSTRACT

Bayesian optimization techniques have been successfully applied to robotics, planning, sensor placement, recommendation, advertising, intelligent user interfaces and automatic algorithm configuration. Despite these successes, the approach is restricted to problems of moderate dimension, and several workshops on Bayesian optimization have identified its scaling to high-dimensions as one of the holy grails of the field. In this paper, we introduce a novel random embedding idea to attack this problem. The resulting Random EMbedding Bayesian Optimization (REMBO) algorithm is very simple, has important invariance properties, and applies to domains with both categorical and continuous variables. We present a thorough theoretical analysis of REMBO. Empirical results confirm that REMBO can effectively solve problems with billions of dimensions, provided the intrinsic dimensionality is low. They also show that REMBO achieves state-of-the-art performance in optimizing the 47 discrete parameters of a popular mixed integer linear programming solver.

研究の動機と目的

• 従来のベイズ最適化が約10次元を超えると失敗する高次元問題におけるスケーラビリティの制限を克服すること。
• 連続的およびカテゴリカルな変数を含む分野においても、外在次元Dが極めて大きい（例：最大10億）場合でも効率的な最適化を可能にすること。
• 座標変換および回転変換に対して不変である手法の開発により、異なるパrameterizationに対して頑健な性能を発揮すること。
• 内部次元が低い場合に、高次元の外在空間においても効果的な最適化が可能であることを実験的に検証すること。
• 実世界の高次元ブラックボックス最適化問題（例：混合整数プログラミングソルバーの設定）において、最先端の性能を示すこと。

提案手法

• 本手法は、高次元入力空間ℝᴰを低次元部分空間ℝᵈ（d ≪ D）にランダム射影することで埋め込む。
• その後、ガウス過程事前分布と標準の獲得関数を用いて、埋め込み空間でベイズ最適化を実行する。
• 内部次元が低い場合に、目的関数の構造が保たれることで、最適解が失われない。
• ランダム射影行列が直交変換に対して不変な分布から抽出されるため、アルゴリズムは座標変換に対して不変である。
• 入力空間の回転に対して不変な分布からランダム行列が抽出されるため、本手法は回転変換に対して不変である。
• 標準のベイズ最適化に最小限の変更を加える：評価の前に入力をランダム行列で前乗算するのみ。

実験結果

リサーチクエスチョン

• RQ1 外在次元Dが10億に達するような問題に対し、ベイズ最適化を効果的にスケーリングできるか？
• RQ2 内部次元deがDに比べて著しく小さい場合、ベイズ最適化の性能が著しく低下するか？
• RQ3 提案されたREMBOアルゴリズムは、入力空間の座標および回転変換に対して不変か？
• RQ4 REMBOは、連続的およびカテゴリカルな変数を含む実世界の高次元ブラックボックス最適化問題において、最先端の性能を達成できるか？
• RQ5 外在次元が中程度であるが内部次元が低い場合、REMBOの性能は標準のベイズ最適化およびランダムサーチと比べてどうか？

主な発見

• REMBOは10億次元の空間に埋め込まれた関数を効果的に最適化した。内部次元が低い場合、高次元問題は効果的に解けることが示された。
• 代表的な混合整数線形プログラミングソルバーの47個の離散的パラメータ最適化において、REMBOはランダムサーチを上回り、インタラーブルドランダム化を用いた標準のベイズ最適化と同等の性能を達成した。
• d=3の埋め込み次元でも、REMBOは競争力のある性能を示した。低次元の埋め込みでも、高次元問題の本質的構造を捉えることができることを示した。
• 実験結果により、REMBOが座標および回転変換に対して不変であることが確認された。理論的予測と一致した。
• ランダムフォレスト分類器の14次元パrameter空間において、k=4のインタラーブルドランダム化を用いた場合、REMBOは標準のベイズ最適化とほぼ同等の性能を発揮した。
• 結果から、多くの実世界の最適化問題は内部次元が低いことが示唆され、REMBOは高次元ブラックボックス最適化のための実用的で頑健な手法であると考えられる。