[論文レビュー] Bayesian Optimization over Sets.

Jungtaek Kim, Michael McCourt+3 more|arXiv (Cornell University)|May 23, 2019

Machine Learning and Algorithms参考文献 23被引用数 9

ひとこと要約

本稿では、置換不変性を保ちつつ可変サイズの集合を扱える新しい集合カーネルを用いた、ブラックボックス関数に対するベイズ最適化手法を提案する。計算コストを低減するため、正定値かつ不偏なカーネルの確率的近似を導入し、数値実験において既存手法を上回る性能を示した。

ABSTRACT

We propose a Bayesian optimization method over sets, to minimize a black-box function that can take a set as single input. Because set inputs are permutation-invariant and variable-length, traditional Gaussian process-based Bayesian optimization strategies which assume vector inputs can fall short. To address this, we develop a Bayesian optimization method with \emph{set kernel} that is used to build surrogate functions. This kernel accumulates similarity over set elements to enforce permutation-invariance and permit sets of variable size, but this comes at a greater computational cost. To reduce this burden, we propose a more efficient probabilistic approximation which we prove is still positive definite and is an unbiased estimator of the true set kernel. Finally, we present several numerical experiments which demonstrate that our method outperforms other methods in various applications.

研究の動機と目的

• 入力が置換不変かつ可変長である集合であるブラックボックス関数の最適化という課題に対処すること。
• 従来のベクトルベースのガウス過程とは異なり、集合の構造的性質を尊重する surrogate モデリング手法を開発すること。
• 正定値性などの理論的性質を保ちつつ、集合カーネル評価の計算コストを低減すること。
• 従来手法が失敗または性能を発揮しないベンチマーク応用において、提案手法の有効性を示すこと。

提案手法

• 置換不変性を強制し、可変サイズの入力をサポートするため、集合の要素間の類似度を集積する集合カーネルを導入する。
• 集合内の要素間の対比較類似度をアグリゲートする対称関数を用いてカーネルを定義する。
• 全カーネルを推定するために要素の部分集合をサンプリングする確率的近似を提案し、計算複雑性を低減する。
• 近似が正定値であり、真の集合カーネルの不偏推定量であることが証明され、妥当なベイズ推論を保証する。
• ガウス過程フレームワーク内にこのカーネルを用いて surrogate モデルを構築し、ベイズ最適化における獲得関数最適化を可能にする。
• 標準的な獲得関数（例：期待改善）と統合し、集合上での探索をガイドする。

実験結果

リサーチクエスチョン

• RQ1 置換不変性と可変長入力の両方を満たすように、集合値入力をモデル化するカーネルを設計できるか？
• RQ2 全集合カーネルの評価にかかる高い計算コストを、理論的保証を損なわずに低減できるか？
• RQ3 提案手法は、従来のベクトル化された入力における標準的ベイズ最適化と比較して、集合ベースの最適化タスクで優れた性能を示せるか？
• RQ4 集合カーネルの確率的近似は、計算的に効率的かつ統計的に妥当であるか？

主な発見

• 提案された集合カーネルは、可変サイズの集合上で置換不変関数を正確にモデル化でき、高精度な surrogate モデリングを可能にした。
• 集合カーネルの確率的近似は、正定値かつ真のカーネルの不偏推定量であることが証明された。
• 複数の数値実験において、ベースライン手法と比較して優れた最適化性能を達成した。
• 近似の計算効率のおかげで、全カーネル計算が可能となるサイズよりも大きな集合への実用的導入が可能になった。