[論文レビュー] High Dimensional Bayesian Optimization Using Dropout

Cheng Li, Sunil Gupta+4 more|arXiv (Cornell University)|Feb 15, 2018

Machine Learning and Data Classification被引用数 13

ひとこと要約

本稿では、ドロップアウトを用いて逐次的に変数のサブセットのみを最適化することで、計算コストを低減しながらレグレットバウンドを維持する高次元ベイズ最適化手法を提案する。この手法は、ベンチマーク関数およびカスケード分類器の学習や合金組成最適化といった実世界のタスクにおいて、最先端の性能を達成する。

ABSTRACT

Scaling Bayesian optimization to high dimensions is challenging task as the global optimization of high-dimensional acquisition function can be expensive and often infeasible. Existing methods depend either on limited active variables or the additive form of the objective function. We propose a new method for high-dimensional Bayesian optimization, that uses a dropout strategy to optimize only a subset of variables at each iteration. We derive theoretical bounds for the regret and show how it can inform the derivation of our algorithm. We demonstrate the efficacy of our algorithms for optimization on two benchmark functions and two real-world applications- training cascade classifiers and optimizing alloy composition.

研究の動機と目的

• 全次元の獲得関数最適化が計算的に非現実的となる高次元問題へのベイズ最適化のスケーリングの課題に対処すること。
• 既存手法が活性部分空間の仮定や目的関数の加法的構造に依存するという制限を克服すること。
• ドロップアウトによる確率的変数選択を用いて、実用的かつ理論的裏付けのある高次元最適化手法を開発すること。
• 高次元空間における効率的計算を可能にしつつ、レグレット性能に理論的保証を提供すること。
• 機械学習および材料科学分野における合成ベンチマークと実世界の応用の両方で有効性を示すこと。

提案手法

• 各獲得関数最適化ステップにおいて、変数のサブセットをランダムにマスク（ドロップ）することで、最適化レベルでドロップアウトを適用する。
• 各反復において残存するアクティブな変数のみを対象に獲得関数を最適化することで、次元数と計算コストを低減する。
• 目的関数を確率的モデル（例：ガウス過程）でモデル化し、ドロップアウト機構を通じて不確実性を伝搬する。
• 1回の反復におけるアクティブ変数数と全次元数に依存する理論的レグレットバウンドを導出することで、スケーラビリティを示す。
• ドロップアウト戦略を期待改善（EI）またはその他の獲得関数に統合し、効率的な逐次最適化を可能にする。
• 目的関数の推定された複雑さや曲率に基づいてドロップアウト率を動的に調整し、探索と活用のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 ベイズ最適化における変数選択にドロップアウト戦略を用いることで、高次元空間におけるスケーラブルな性能が達成できるか？
• RQ2 提案手法のレグレットは、次元数および1反復あたりのアクティブ変数数に対してどのようにスケーリングされるか？
• RQ3 加法的構造を仮定する既存手法や、制限されたアクティブ変数数に依存する手法と比較して、高次元最適化タスクで優れた性能を示せるか？
• RQ4 複雑で加法的でない目的関数を有する実世界の問題に対しても、この手法は効果的に適用可能か？
• RQ5 ドロップアウト率を変化させた場合、収束速度および最適化精度にどのような影響が生じるか？

主な発見

• 提案手法は、加法的構造を仮定しない高次元ベンチマーク関数においても、ベースライン手法よりも低いレグレットを達成する。
• カスケード分類器の学習や合金組成最適化といった実世界のタスクにおいて、優れた収束速度と最終的な目的関数値を示す。
• 理論的分析により、レグレットバウンドが反復回数に対して非線形にスケーリングされ、アクティブ変数数に依存することが示され、スケーラビリティが裏付けられる。
• 実験的結果から、次元数が100を超過しても本手法が有効であることが確認され、標準的なベイズ最適化や他の高次元ベースラインを上回る性能を示す。
• ドロップアウトの使用により、各反復でランダムに選択された少数の変数に焦点を当てることで、計算オーバーヘッドを低減した効率的最適化が可能になる。
• 分離不能で非線形な目的関数を含む多様な問題タイプにおいても、本アルゴリズムは強固な性能を維持するが、構造的仮定に依存する手法とは対照的である。