[論文レビュー] Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces

Alexander Thebelt, Calvin Tsay+5 more|arXiv (Cornell University)|Jul 2, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本論文は、混合特徴空間における不確実性の定量化と制約付き最適化を可能にする、ツリー集合カーネルガウス過程フレームワークを提案する。ツリー集合をガウス過程の事前分布として解釈することで、モデルの分散を効率的に計算し、既知の制約下で獲得関数を最大化するための混合整数二次錐計画問題（MISOCP）を定式化する。この手法は、制約付きで混合変数を含むブラックボックス最適化タスクにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Tree ensembles can be well-suited for black-box optimization tasks such as algorithm tuning and neural architecture search, as they achieve good predictive performance with little or no manual tuning, naturally handle discrete feature spaces, and are relatively insensitive to outliers in the training data. Two well-known challenges in using tree ensembles for black-box optimization are (i) effectively quantifying model uncertainty for exploration and (ii) optimizing over the piece-wise constant acquisition function. To address both points simultaneously, we propose using the kernel interpretation of tree ensembles as a Gaussian Process prior to obtain model variance estimates, and we develop a compatible optimization formulation for the acquisition function. The latter further allows us to seamlessly integrate known constraints to improve sampling efficiency by considering domain-knowledge in engineering settings and modeling search space symmetries, e.g., hierarchical relationships in neural architecture search. Our framework performs as well as state-of-the-art methods for unconstrained black-box optimization over continuous/discrete features and outperforms competing methods for problems combining mixed-variable feature spaces and known input constraints.

研究の動機と目的

• 混合変数および制約付き探索空間におけるツリー集合ベースのベイズ最適化における不確実性の定量化の課題に対処すること。
• ツリー集合による区分的定数応答を扱える、微分可能で最適化に適した獲得関数の定式化を開発すること。
• 分岐関係や条件付き特徴依存性といった、分野固有の既知の制約を最適化プロセスに統合し、サンプリング効率を向上させること。
• 連続的、離散的、およびカテゴリカルな特徴に加え構造的制約を伴うスケーラブルで効率的なベイズ最適化を可能にすること、特に工学的およびニューラルアーキテクチャ探索の文脈において。
• 既存手法を上回る性能を示す実用的でオープンソースの実装を提供すること。

提案手法

• ツリー集合をツリー一致比に基づくカーネルを用いてガウス過程の事前分布として解釈することで、整合的な不確実性の定量化を可能にする。
• 獲得関数の最適化を混合整数二次錐計画問題（MISOCP）として定式化することで、不連続かつ区分的定数の応答面に対する正確な最適化を実現する。
• ツリー集合カーネルは、変数の階層構造と条件付き依存関係をカーネル構造および最適化定式化に直接組み込むことで、既知の制約を統合する。
• 適切なカーネルおよび制約設計により、連続的、整数的、カテゴリカルな特徴を含む混合変数空間をサポートする。
• モデルの不確実性を表すハイパーパrameterとしてのツリー一致比を用いることで、効果的な探索を可能にする。この手法が有効であることが示された。
• 獲得関数の最適化は、制約下で効率的かつグローバルに最適化可能なMISOCP定式化により実装される。

実験結果

リサーチクエスチョン

• RQ1 ツリー集合カーネルは、ブラックボックス最適化における信頼性の高い不確実性の定量化を可能にするガウス過程の事前分布として効果的に解釈できるか？
• RQ2 不連続かつ区分的定数の応答面を示すツリー集合ベースのモデルに対して、獲得関数の最適化をどのように効率的に定式化できるか？
• RQ3 分岐関係や条件付き特徴の活性化といった既知の入力制約を、ツリー集合ベースのベイズ最適化にどの程度統合できるか？特にサンプリング効率の向上に寄与するか？
• RQ4 提案されたMISOCPに基づく獲得関数最適化は、制約付きで混合変数を含む最適化設定において、サンプリングベースの戦略を上回る性能を示すか？
• RQ5 本手法は、複雑な特徴制約を伴うベンチマークにおいて、最先端のベイズ最適化アルゴリズムと比較してどの程度優れているか？

主な発見

• 提案されたツリー集合カーネルガウス過程フレームワークは、連続的および離散的特徴を含む制約なしブラックボックス最適化タスクにおいて、最先端の手法と同等の性能を達成した。
• 特にニューラルアーキテクチャ探索のベンチマークにおいて、混合変数特徴空間および既知の入力制約を伴う問題において、競合手法を顕著に上回った。
• モデルの不確実性の代理としてのツリー一致比の使用は、探索空間における効果的かつ十分な探索を可能にすることが示された。
• 獲得関数最適化のMISOCP定式化は、特に複雑な制約下でも、サンプリングベースの戦略と比較して優れた収束性とサンプリング効率を示した。
• 本フレームワークは、ニューラルアーキテクチャにおける非活性化レイヤーのハイパーパrameterの無効化など、階層的および条件付き特徴依存関係を効果的に処理でき、最適化効率を向上させた。
• オープンソースの実装が提供されており、再現性が保たれ、実世界の工学的および機械学習ワークフローへの統合が可能である。