[論文レビュー] Kernels over Sets of Finite Sets using RKHS Embeddings, with Application to Bayesian (Combinatorial) Optimization

Poompol Buathong, David Ginsbourger+3 more|Bern Open Repository and Information System (University of Bern)|Oct 9, 2019

Water Systems and Optimization参考文献 50被引用数 7

ひとこと要約

本稿では、再現性のあるヒルバート空間（RKHS）埋め込みを用いて、有限集合の集合に対するディープエムベディング（DE）カーネルを導入し、ベイズ最適化におけるジッターを排除した厳密な正定値カーネルを実現する。二重和（DS）カーネルとは異なり、後者はしばしば厳密な正定値性を欠くが、提案されるDEカーネルは組合せ最適化における頑健性と収束性の向上を保証する。合成および実世界の工学的・地下水地質学的問題において検証された。

ABSTRACT

We focus on kernel methods for set-valued inputs and their application to Bayesian set optimization, notably combinatorial optimization. We investigate two classes of set kernels that both rely on Reproducing Kernel Hilbert Space embeddings, namely the ``Double Sum'' (DS) kernels recently considered in Bayesian set optimization, and a class introduced here called ``Deep Embedding'' (DE) kernels that essentially consists in applying a radial kernel on Hilbert space on top of the canonical distance induced by another kernel such as a DS kernel. We establish in particular that while DS kernels typically suffer from a lack of strict positive definiteness, vast subclasses of DE kernels built upon DS kernels do possess this property, enabling in turn combinatorial optimization without requiring to introduce a jitter parameter. Proofs of theoretical results about considered kernels are complemented by a few practicalities regarding hyperparameter fitting. We furthermore demonstrate the applicability of our approach in prediction and optimization tasks, relying both on toy examples and on two test cases from mechanical engineering and hydrogeology, respectively. Experimental results highlight the applicability and compared merits of the considered approaches while opening new perspectives in prediction and sequential design with set inputs.

研究の動機と目的

• 既存の集合カーネル（例：二重和（DS）カーネル）に見られる厳密な正定値性の欠如を是正し、安定なベイズ最適化を可能にする。
• 基本集合カーネルからの標準的距離を用い、ヒルバート空間における径数カーネルを連結することで、新たなカーネルクラス「ディープエムベディング（DE）カーネル」を構築する。
• 集合値入力を持つ組合せ的・高コストなブラックボックス問題における、頑健でジッターのないベイズ最適化を実現する。
• 機械工学および地下水地質学分野の合成ベンチマークおよび実応用において、DEカーネルの予測および最適化タスクにおける有効性を実証する。
• RKHSに基づく集合カーネルフレームワークにおけるハイパーパrameter適合およびカーネルパrametrizationに関する理論的・実用的ガイドラインを提供する。

提案手法

• 有限集合をヒルバート空間に埋め込む再現性のあるヒルバート空間（RKHS）埋め込みを用い、集合入力におけるカーネルベース学習を可能にする。
• 二重和（DS）カーネルをベースラインとして定義し、有限集合の要素間の対比較類似度に依存するが、一般的に厳密な正定値性を欠くことにも注意を喚起する。
• 基本カーネル（例：DS）が誘導するヒルバート空間距離に径数カーネル（例：RBF）を適用することで、ディープエムベディング（DE）カーネルを提案し、広い部分クラスにおいて厳密な正定値性を保証する。
• RKHS埋め込みの理論的性質を活用し、基本カーネルが特徴的（characteristic）である場合、DEカーネルが厳密に正定値であることを証明する。これにより、安定なガウス過程推論が可能になる。
• 期待改善（EI）を用いたベイズ最適化をDEおよびDSカーネルで実装し、複数回の試行における収束性および頑健性を比較する。
• 境界の幾何的制約を課したハイパーパrameter適合を実装し、解析的関数および機械工学・地下水地質学的応用からの実データセットを用いた数値実験により検証する。

実験結果

リサーチクエスチョン

• RQ1 RKHS埋め込みを用いて、有限集合の集合に対する厳密な正定値カーネルを構築可能か？ これにより、既存のDSカーネルの制限を克服できるか？
• RQ2 ジッターのない状況において、DEカーネルはDSカーネルと比較して最適化性能および頑健性に優れるか？
• RQ3 カーネル選択が、組合せ的ベイズ最適化における収束速度およびグローバル最適解の特定に与える影響は何か？
• RQ4 ハイパーパrameterの境界およびパラメータ設定が、実世界応用におけるDEおよびDSカーネルの性能および安定性に与える影響は何か？
• RQ5 DEカーネルは、部分集合の基数が異なる場合やマーク付き点集合に対しても、どの程度一般化可能か？

主な発見

• DSカーネルに基づくDEカーネルは、広い部分クラスにおいて厳密に正定値であり、ガウス過程推論におけるジッターの必要性を排除する。
• 汚染源特定問題において、EI-DEカーネル手法は2つのシナリオすべての試行でグローバル最適解に到達し、DSベースのEIに比べて頑健性と一貫性に優れた。
• DSカーネルは初期段階で高速な収束を示したが、ジッターの調整に注意が必要であり、不適切なジッター水準はモデル精度および最適化性能を低下させた。
• 中央値の進捗曲線から、EI-DEは特に最適化後期段階でより信頼性が高く、95パーセンタイル曲線からはより優れた最悪ケース性能が示された。
• 提案されたDEカーネルフレームワークは、高コストなブラックボックスの組合せ最適化に対して頑健で効果的であり、機械工学および地下水地質学的テストケースで実証された。
• 本手法は、部分集合の基数が異なる場合やマーク付き点集合に対しても自然に拡張可能であり、不確実性評価および逐次設計分野におけるより広範な応用を可能にする。