[論文レビュー] Combinatorial Bayesian Optimization using the Graph Cartesian Product

ChangYong Oh, Jakub M. Tomczak+2 more|arXiv (Cornell University)|Feb 1, 2019

Gaussian Processes and Bayesian Inference被引用数 38

ひとこと要約

COMBO は、離散構造の探索空間に対するガウス過程ベースのベイズ最適化フレームワークを導入し、連結性を組み合わせグラフと拡散カーネルでモデル化し、ARDとHorseshoe priorsを用いてスケーラビリティと高次相互作用を実現する。

ABSTRACT

This paper focuses on Bayesian Optimization (BO) for objectives on combinatorial search spaces, including ordinal and categorical variables. Despite the abundance of potential applications of Combinatorial BO, including chipset configuration search and neural architecture search, only a handful of methods have been proposed. We introduce COMBO, a new Gaussian Process (GP) BO. COMBO quantifies "smoothness" of functions on combinatorial search spaces by utilizing a combinatorial graph. The vertex set of the combinatorial graph consists of all possible joint assignments of the variables, while edges are constructed using the graph Cartesian product of the sub-graphs that represent the individual variables. On this combinatorial graph, we propose an ARD diffusion kernel with which the GP is able to model high-order interactions between variables leading to better performance. Moreover, using the Horseshoe prior for the scale parameter in the ARD diffusion kernel results in an effective variable selection procedure, making COMBO suitable for high dimensional problems. Computationally, in COMBO the graph Cartesian product allows the Graph Fourier Transform calculation to scale linearly instead of exponentially. We validate COMBO in a wide array of realistic benchmarks, including weighted maximum satisfiability problems and neural architecture search. COMBO outperforms consistently the latest state-of-the-art while maintaining computational and statistical efficiency.

研究の動機と目的

• カテゴリカルおよび順序変数を含む組合せ空間での BO を効率的に動機づけ、実現する。
• 組合せ空間上の滑らかさを combinatorial グラフと Graph Fourier Transform によって構成的に定義する。
• 高次元問題を扱うために per-variable スケーリング因子を持つ ARD 拡散カーネルを用いたスケーラブルな GP サロゲートを開発。
• SAT/MaxSAT、ニューラルアーキテクチャ検索等のベンチマークや現実的な問題で競争力のある性能を達成する。

提案手法

• 各変数を表すサブグラフのデカルト積として組合せグラフを構築（順序変数はパス、カテゴリ変数は完全グラフ）。
• Graph Fourier Transform と拡散カーネルを用いて組合せグラフ上の滑らかさを定義。
• 変数ごとのスケール因子を持つ ARD 拡散カーネルを導入し、グラフのデカルト積から Kronecker 分解を用いてカーネルを効率的に計算。
• 各変数のスケールに Horseshoe 事前分布を置き、事後サンプリングを行って自動変数選択を可能にする。
• スライスサンプリングで GP サロゲートをフィットし、グラフ上での取得関数（EI）を幅優先の局所探索でスケーラビリティを確保して最適化する。
• 高次元の組合せ空間にスケールするアルゴリズム（COMBO）を提供し、変数ごとの疎性を活用して効率化する。

実験結果

リサーチクエスチョン

• RQ1 組合せ空間上で定義された目的関数の滑らかさをどのように符号化・活用するか？
• RQ2 グラフベースのカーネルを用いた GP ベースの代替探索は、組合せ BO における高次相互作用を効率的にモデルできるか？
• RQ3 変数ごと ARD 拡散カーネルとスパース priors は高次元のカテゴリ/順序空間に対してスケーラブルな BO を可能にするか？
• RQ4 COMBO は最先端手法と比較して現実的な組合せ最適化タスクでどのような性能を示すか？
• RQ5 二値、順序、および多カテゴリ変数を統一的なフレームワークで扱えるか？

主な発見

• COMBO は二値・順序・多カテゴリのベンチマークおよび現実的な問題で競合手法を一貫して上回る。
• グラフ Cartesian 積により、Kronecker 積を介して per-variable コンポーネントへ分解することで Graph Fourier Transform とカーネルのスケーラブルな計算を実現。
• per-variable拡散スケール β_i は ARD ドリブンな柔軟性を提供し、Horseshoe 事前分布は高次元問題を扱うためのスパース性を誘導。
• ニューラルアーキテクチャ探索と重み付き MaxSAT の設定で、COMBO は代替案と比較して優れた結果と有利な実行時間を達成。
• Ising 疎化の結果、相互作用が限られているときにも COMBO は競合的であり、より複雑なタスクでより大きな利益を生み出す高次相互作用が得られる。