[論文レビュー] Batch Bayesian Optimization on Permutations using the Acquisition Weighted Kernel

Changyong Oh, Roberto Bondesan+2 more|arXiv (Cornell University)|Feb 26, 2021

Advanced Bandit Algorithms Research被引用数 10

ひとこと要約

本稿では、評価が高価な目的関数を伴う順列上の組合せ問題に対するバッチベイズ最適化フレームワークであるLAW2ORDERを提案する。LAW（DPPによる獲得重み付きカーネル）を導入し、バッチ獲得における多様性と情報性のバランスを図り、部分線形なバッチ累積リグレットを達成し、二次割り当て問題、フロウショップスケジューリング、巡回セールスマン問題、構造学習タスクにおいて最先端の手法を上回る性能を示した。

ABSTRACT

In this work we propose a batch Bayesian optimization method for combinatorial problems on permutations, which is well suited for expensive-to-evaluate objectives. We first introduce LAW, an efficient batch acquisition method based on determinantal point processes using the acquisition weighted kernel. Relying on multiple parallel evaluations, LAW enables accelerated search on combinatorial spaces. We then apply the framework to permutation problems, which have so far received little attention in the Bayesian Optimization literature, despite their practical importance. We call this method LAW2ORDER. On the theoretical front, we prove that LAW2ORDER has vanishing simple regret by showing that the batch cumulative regret is sublinear. Empirically, we assess the method on several standard combinatorial problems involving permutations such as quadratic assignment, flowshop scheduling and the traveling salesman, as well as on a structure learning task.

研究の動機と目的

• チップ設計や3Dプリンティングなど、実世界の応用で一般的な順列上の組合せ問題に対する効率的なベイズ最適化手法の不足に対処すること。
• 複数の順列を並列で評価できるバッチ獲得を用いて最適化を加速すること。
• DPPを用いた多様性と獲得スコアによる情報性を組み合わせることで、標準的なDPPに欠ける情報性を補い、バッチ獲得を改善すること。
• 順列空間における提案手法の単純リグレットの消滅に関する理論的保証を確立すること。
• ベンチマーク問題における実験的検証を通じて、遺伝的アルゴリズムや既存のバッチBO手法と比較して優れた性能を示すこと。

提案手法

• DPPと獲得関数値を組み合わせたバッチ獲得手法であるLAW（DPPによる獲得重み付きカーネル）を提案し、多様性と情報性のバランスを図る。
• 予測分散に加えて獲得値で重み付けされたカーネルを用いることで、標準的なDPPが情報性を欠くのを補う。
• DPP-Lアンサンブルフレームワークを用いて、評価に適した多様で情報豊富な順列のバッチを抽出する。
• ガウス過程のスラッグモデルを用いて目的関数値と不確実性を予測し、獲得関数の計算を可能にする。
• バッチ獲得をベイズ最適化ループに統合し、新しい並列評価結果をもとにスラッグモデルを更新する。
• 順列空間における最適化に特化した、全フレームワークをLAW2ORDERと命名する。

実験結果

リサーチクエスチョン

• RQ1 高価な目的関数を伴う順列ベースの組合せ空間に、バッチベイズ最適化を効果的に拡張できるか？
• RQ2 DPPによる多様性と獲得スコアによる情報性を組み合わせることで、既存のバッチ獲得手法よりも優れた最適化性能が得られるか？
• RQ3 提案手法の順列空間における理論的収束挙動はいかなるものか？
• RQ4 遺伝的アルゴリズムや他のバッチBO手法と比較して、LAW2ORDERの収束速度と最終的な解の品質はどの程度か？
• RQ5 高次元の順列を伴う構造学習のような大規模な順列問題においても、本手法は優れた性能を維持できるか？

主な発見

• LAW2ORDERは部分線形なバッチ累積リグレットを達成し、単純リグレットの消滅を証明した。これにより理論的収束保証が確立された。
• 構造学習タスクにおいて、LAW2ORDERはすべてのベースラインを上回り、特に大きな順列空間において性能差が顕著に拡大した。
• 遺伝的アルゴリズムと比較して、評価回数を半分に抑えた状態で優れた結果を達成し、優れたサンプル効率を示した。
• 巡回セールスマン問題では、LAW-ESTおよびLAW-prior-ESTが530回の評価で平均コスト$3,367.40 ± 10.66$を達成し、最低の平均コストを記録した。
• フロウショップスケジューリング問題では、LAW-prior-ESTが530回の評価で平均コスト$7,751.94 ± 7.80$を達成し、最高の平均コストを記録した。
• 二次割り当て問題では、LAW-prior-ESTが830回の評価で平均コスト$1,888.93 ± 1.91$を達成し、すべての競合手法を上回った。