[論文レビュー] Practical Bayesian Optimization over Sets

Jungtaek Kim, Michael McCourt+3 more|arXiv (Cornell University)|May 23, 2019

Gaussian Processes and Bayesian Inference被引用数 1

ひとこと要約

本稿では、置換不変性を保ちつつ可変サイズの集合を扱える新しい集合カーネルを用いて、集合値入力をもつブラックボックス関数向けの実用的なベイズ最適化手法を提案する。計算コストを低減するため、カーネルの確率的近似と対称性を考慮した獲得関数最適化を導入し、数値実験においてベースライン手法を上回る優れた性能を示した。

ABSTRACT

We propose a practical Bayesian optimization method over sets, to minimize a black-box function that can take a set as a single input. Because set inputs are permutation-invariant and variable-length, traditional Gaussian process-based Bayesian optimization strategies which assume vector inputs can fall short. To address this, we develop a Bayesian optimization method with \emph{set kernel} that is used to build surrogate functions. This kernel accumulates similarity over set elements to enforce permutation-invariance and permit sets of variable size, but this comes at a greater computational cost. To reduce this burden, we propose two key components: (i) a more efficient probabilistic approximation which is still positive-definite and is an unbiased estimator of the true set kernel with upper-bounded variance in terms of the number of subsamples, (ii) a constrained acquisition function optimization over sets, which uses symmetry of the feasible region that defines a set input. Finally, we present several numerical experiments which demonstrate that our method outperforms other methods in various applications.

研究の動機と目的

• 入力が置換不変かつ可変長である集合であるブラックボックス関数の最適化という課題に対処すること。これは、標準的なベクトルベースのベイズ最適化では不十分である。
• 集合の要素間の類似性を捉えつつ、置換不変性を強制し、可変サイズの集合をサポートする集合カーネルの開発。
• 全集合カーネルの評価にかかる高コストを軽減するため、分散が有界な正定値の確率的近似を導入すること。
• 集合入力領域の対称性を活用することで、集合上の獲得関数最適化を効率的に行えるようにすること。
• 複数のベンチマーク応用において、提案手法の既存手法に対する優位性を実証すること。

提案手法

• 置換不変性を強制し、可変サイズの集合をサポートするため、要素間の類似性を蓄積する集合カーネルを提案する。
• 正定値を保ちつつ、サブサンプル数に関して分散が有界な不偏推定量である確率的近似を導入する。
• 集合入力の可能性領域の対称性を活用して、最適化の効率を高める制約付き獲得関数最適化戦略を採用する。
• 集合カーネルを用いたガウス過程を surrogate モデルとして採用し、集合上のベイズ最適化を支援する。
• 獲得関数に対して、対称性を考慮した最適化スキームを適用し、探索空間と計算負荷を低減する。
• surrogate モデリング、獲得関数の最大化、関数評価を組み合わせた逐次最適化ループを採用し、反復的に解を改善する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ最適化において、置換不変性を強制し、可変サイズの集合入力をサポートする集合カーネルを設計可能か？
• RQ2 全集合カーネルの評価にかかる高コストを、正定値性といった統計的性質を保ちつつ、どのように低減できるか？
• RQ3 集合入力の可能性領域における対称性を活用することで、獲得関数最適化の速度を向上できるか？
• RQ4 提案手法は、集合ベースの最適化問題において、既存のベイズ最適化手法と比較して収束速度と解の品質の両面で優れているか？
• RQ5 本手法は、集合値入力をもつ多様な応用分野において、実証的にどの程度の性能を示すか？

主な発見

• 提案手法における集合カーネルを用いることで、さまざまな集合ベースのブラックボックス関数において、ベースライン手法を上回る最適化性能を達成した。
• 集合カーネルの確率的近似は、統計的妥当性（正定値性）を維持し、サブサンプル数に関して分散が有界な推定量を提供した。
• 対称性を考慮した獲得関数最適化は、集合入力の不変構造を活用することで、計算コストを顕著に低減した。
• 複数の数値実験において、収束速度と最終的な解の品質の両面で一貫した改善を示した。
• 実証結果から、集合カーネルと効率的な最適化戦略の組み合わせが、ベクトルベースまたは非対称な手法と比較して優れた性能を発揮することが明らかになった。