[論文レビュー] Bayesian Optimization of Combinatorial Structures

Ricardo Baptista, Matthias Poloczek|arXiv (Cornell University)|Jun 22, 2018

Machine Learning and Algorithms参考文献 40被引用数 54

ひとこと要約

css を導入します。組合せ的領域に対する高価なブラックボックス関数のベイズ最適化アルゴリズムであり、スパースベイズ線形モデルと SDP による凸緩和取得を用い、ランダム化丸めで大規模な離散空間を効率的に探索します。

ABSTRACT

The optimization of expensive-to-evaluate black-box functions over combinatorial structures is an ubiquitous task in machine learning, engineering and the natural sciences. The combinatorial explosion of the search space and costly evaluations pose challenges for current techniques in discrete optimization and machine learning, and critically require new algorithmic ideas. This article proposes, to the best of our knowledge, the first algorithm to overcome these challenges, based on an adaptive, scalable model that identifies useful combinatorial structure even when data is scarce. Our acquisition function pioneers the use of semidefinite programming to achieve efficiency and scalability. Experimental evaluations demonstrate that this algorithm consistently outperforms other methods from combinatorial and Bayesian optimization.

研究の動機と目的

• 検索空間が大きく評価が高価である組合せ構造に対する高価なブラックボックス関数の最適化の課題に対処する。
• 構造要素間の相互作用を捉えるスケーラブルでサンプル効率の良いモデルを開発する。
• 凸最適化を活用した取得戦略を提供し、組合せ領域での計算可能な最適化を実現する。
• 多様なベンチマークで最先端手法より性能が向上することを示す。

提案手法

• 相互作用係数にスパース性を導入する事前分布（ホースショー）を用いて、二値変数の二次関数として目的関数をモデル化する。
• 効率性のために Bhattacharya ら（2016）の正確なサンプラーを用いたギブスサンプラーで係数のベイズ推定を行う。
• 後部分布から alpha をサンプルし、最大 f_alpha(x) - lambda P(x) を解くバイナリ二次計画問題を解く、トンプソン風の取得戦略を使用する。
• バイナリ二次計画を単位球上のベクトル計画に緩和し、さらに半正定値計画（SDP）へと変換する。離散解は randomized rounding（Charikar & Wirth, 2004）で回収する。
• 大規模次元でのスケーラビリティのため、SDP を用いずシミュレーテッドアニーリングへ置換する低複雑度版（BOCS-SA）を提供する。

実験結果

リサーチクエスチョン

• RQ1 データが限られている状況で、組合せ構造上の高価なブラックボックス関数をいかに効率的に最適化できるか？
• RQ2 相互作用を意識したスパースなベイズモデルは、離散ドメインにおける構造-機能関係を正確に捉えられるか？
• RQ3 離散で高次元な空間において、SDP に基づく取得は伝統的な取得関数より優れているか？

主な発見

Setting	EI	BOCS-SA	BOCS-SDP
(L_c=1, lambda=0)	0.49±0.13	0.02±0.02	0.03±0.02
(L_c=1, lambda=1e-4)	0.50±0.12	0.02±0.01	0.03±0.03
(L_c=1, lambda=1e-2)	0.54±0.12	0.02±0.02	0.05±0.05
(L_c=10, lambda=0)	2.54±0.51	0.07±0.05	0.07±0.05
(L_c=10, lambda=1e-4)	2.49±0.44	0.06±0.04	0.08±0.05
(L_c=10, lambda=1e-2)	2.27±0.40	0.04±0.04	0.10±0.06
(L_c=100, lambda=0)	3.38±0.70	0.15±0.07	0.11±0.06
(L_c=100, lambda=1e-4)	4.07±0.77	0.16±0.08	0.15±0.08
(L_c=100, lambda=1e-2)	4.25±0.78	0.17±0.09	0.13±0.07

• css はバイナリ二次計画、Ising 稀少化、汚染制御、航空-構造問題において競合手法（EI、SMAC、PS、SA、OLS、RS）を一貫して上回る。
• BCS-SDP（SDPベース）はベンチマーク全般で最良の性能を示すことが多く、BOCS-SA（SAベース）は多くの設定でこれに近い。
• 回帰係数の事後分布からサンプリングする（単一の MLE を用いない）ことが、過度に探索を狭める挙動を避け、強い性能を達成するために重要である。
• Ising 稀少化では、BOCS-SDP は最良値と最小の変動を得る。
• 汚染制御および航空-構造問題では、BOCS-SDP が頻繁にトップの性能を提供する一方、SA および EI は初期に良い場合があるが css を一貫して超えることは少ない。