[論文レビュー] Combining Latent Space and Structured Kernels for Bayesian Optimization over Combinatorial Spaces

Aryan Deshwal, Janardhan Rao Doppa|arXiv (Cornell University)|Nov 1, 2021

Advanced Multi-Objective Optimization Algorithms被引用数 8

ひとこと要約

LADDERは、深層生成モデルからの潜在空間表現と、デコードされた組み合わせ構造における構造的カーネルを統合する構造結合型カーネルを用いて、組み合わせ的空間における新しいベイズ最適化フレームワークを提案する。このハイブリッドなサーモンモデルは、小データ設定において、単純な潜在空間BOに比べて顕著に優れた性能を発揮し、分子設計やMOF設計といった実世界のベンチマークにおいて、優れたサンプル効率と最適化精度を達成する。

ABSTRACT

We consider the problem of optimizing combinatorial spaces (e.g., sequences, trees, and graphs) using expensive black-box function evaluations. For example, optimizing molecules for drug design using physical lab experiments. Bayesian optimization (BO) is an efficient framework for solving such problems by intelligently selecting the inputs with high utility guided by a learned surrogate model. A recent BO approach for combinatorial spaces is through a reduction to BO over continuous spaces by learning a latent representation of structures using deep generative models (DGMs). The selected input from the continuous space is decoded into a discrete structure for performing function evaluation. However, the surrogate model over the latent space only uses the information learned by the DGM, which may not have the desired inductive bias to approximate the target black-box function. To overcome this drawback, this paper proposes a principled approach referred as LADDER. The key idea is to define a novel structure-coupled kernel that explicitly integrates the structural information from decoded structures with the learned latent space representation for better surrogate modeling. Our experiments on real-world benchmarks show that LADDER significantly improves over the BO over latent space method, and performs better or similar to state-of-the-art methods.

研究の動機と目的

• 小データ設定において、潜在空間上でのベイズ最適化が性能を発揮できない理由を解消する。これは、ターゲットブラックボックス関数に対する誘導的バイアスが欠如しているためである。
• デコードされた組み合わせ的オブジェクト（例：分子、グラフ）からの構造的情報を学習済み潜在表現と統合する、原則的かつ整合性のある手法を開発する。
• 深層生成モデルの表現力と構造的カーネルの誘導的バイアスを組み合わせることで、組み合わせ的空間における効果的なベイズ最適化を可能にする。
• 潜在空間と構造的カーネルの相乗効果が、最先端手法に比べて最適化の効率と正確性を向上させることを示す。
• 任意の獲得関数と統合可能で、多目的最適化、多忠実度最適化、制約付き最適化に自然に拡張可能な柔軟かつプラグアンドプレイなフレームワークを提供する。

提案手法

• 未教師付きデータベースから組み合わせ的構造の連続的潜在空間表現を学習するため、深層生成モデル（DGM）を活用する。
• 潜在空間表現と、デコードされた組み合わせ的オブジェクト（例：フィンガープrint、グラフカーネル）から抽出された構造的特徴を統合する、新規の構造結合型カーネルを提案する。
• 構造結合型カーネルを用いてガウス過程サーモンモデルを構築し、構造的誘導的バイアスを用いて、評価済み点から未探索領域へとカーネルを拡張する。
• 潜在カーネルと構造的カーネルのハイパーパramータを同時に最適化するカーネル学習戦略を採用し、一般化性能を向上させる。
• サーモンモデルをベイズ最適化ループ内で活用し、獲得関数を用いて高利回りの候補を選択する。選択された候補は元の組み合わせ的空間にデコードされ、評価される。
• 任意の獲得関数と統合可能で、多目的最適化、多忠実度最適化、制約付き最適化への拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 なぜ組み合わせ的最適化の小データ設定において、標準的な潜在空間上でのベイズ最適化は性能を発揮しないのか？
• RQ2 潜在空間表現と構造的カーネル特徴を組み合わせることで、サーモンモデルの正確性と最適化効率が向上するか？
• RQ3 提案された構造結合型カーネルは、潜在空間のみ、または構造的カーネルのみを使用する場合と比較して、収束速度と最終的パフォーマンスにおいてどのように差が現れるか？
• RQ4 LADDERのパフォーマンスは、構造的カーネルの選択にどの程度依存しており、実際の応用ではどのように最適化できるか？
• RQ5 LADDERは、分子、配列、グラフを含む多様な組み合わせ的空間に一般化可能であり、サンプル効率を維持できるか？

主な発見

• LADDERは、すべての実世界ベンチマークにおいて、単純な潜在空間BO手法を顕著に上回り、少ない関数評価回数でより速い収束と高い正確性を達成する。
• 反復15回目で、LADDERは平均パフォーマンス2.78 ± 0.26を達成したのに対し、フィンガープリントを用いたベースラインBOは2.46 ± 0.32であった。これは、初期段階での最適化性能が優れていることを示している。
• 反復100回目で、LADDERは平均パフォーマンス3.25 ± 0.18に到達した。これは、フィンガープリントカーネルを用いたBOの最終パフォーマンス（3.36 ± 0.23）に非常に近い値であり、初期優位性が大きくないにもかかわらず、優れた性能を発揮していることを示している。
• 最適化正確性の向上は、強化されたサーモンモデルに起因しており、アブレーションスタディにより、潜在的特徴と構造的特徴の組み合わせが、単独での使用よりも効果的であることが実証されている。
• LADDERのパフォーマンスは、より優れた潜在空間表現に比例して向上すると予想される。より大きな未教師付きデータセットでDGMを訓練することで、フィンガープリントベース手法の性能をさらに近づけ、あるいは凌駕する可能性がある。
• 本手法はカーネル選択に対して頑健であり、分子やMOFを含む多様な組み合わせ的空間に一般化可能で、科学的発見ワークフローにおける広範な適用可能性を示している。