[論文レビュー] No-regret Algorithms for Multi-task Bayesian Optimization

Sayak Ray Chowdhury, Aditya Gopalan|arXiv (Cornell University)|Aug 20, 2020

Gaussian Processes and Bayesian Inference参考文献 48被引用数 4

ひとこと要約

本稿では、共有構造を持つベクトル値関数を効率的に最適化するために、マルチタスクカーネルとランダムスカラライゼーションを活用する2つの新規なマルチタスクベイズ最適化アルゴリズム、MT-KBおよびMT-BKBを提案する。著者らは、タスク間の類似度を明示的に捉えることで、マルチオブジェクティブBOにおける有限時間のレグレットバウンドを初めて確立し、理論的保証と実験的検証を通じて、サンプル効率の向上を示した。

ABSTRACT

We consider multi-objective optimization (MOO) of an unknown vector-valued function in the non-parametric Bayesian optimization (BO) setting, with the aim being to learn points on the Pareto front of the objectives. Most existing BO algorithms do not model the fact that the multiple objectives, or equivalently, tasks can share similarities, and even the few that do lack rigorous, finite-time regret guarantees that capture explicitly inter-task structure. In this work, we address this problem by modelling inter-task dependencies using a multi-task kernel and develop two novel BO algorithms based on random scalarizations of the objectives. Our algorithms employ vector-valued kernel regression as a stepping stone and belong to the upper confidence bound class of algorithms. Under a smoothness assumption that the unknown vector-valued function is an element of the reproducing kernel Hilbert space associated with the multi-task kernel, we derive worst-case regret bounds for our algorithms that explicitly capture the similarities between tasks. We numerically benchmark our algorithms on both synthetic and real-life MOO problems, and show the advantages offered by learning with multi-task kernels.

研究の動機と目的

• マルチオブジェクティブベイズ最適化（MOO）において、タスク間依存関係を明示的にモデル化する有限時間のレグレット保証が欠如している問題に対処すること。
• 複数の目的関数間の類似性を活用して、ブラックボックス最適化におけるサンプル効率を向上させるアルゴリズムの開発。
• 目的関数を独立に扱うのではなく、タスク類似度の度合いを反映する理論的レグレットバウンドの提供。
• ベクトル値関数のリッジ回帰とNystroem近似をUCBスタイルのフレームワークに統合し、スケーラブルなマルチタスクMOOを実現すること。
• 合成データおよび実世界のMOO問題において、提案手法の実験的妥当性を検証し、独立型およびベースライン手法に対する優位性を示すこと。

提案手法

• アルゴリズムは、ベクトル値関数の目的関数をランダムスカラライゼーションすることで、マルチオブジェクティブ最適化を一連の単一目的問題に変換する。
• タスク間の相関をモデル化するため、マルチタスクカーネルが用いられ、関連するタスク間での共有学習を可能にする。
• 推定された関数の不確実性を伴うジョイント目的関数を推定するために、ベクトル値関数のリッジ回帰が補間モデルとして使用される。
• アルゴリズムは上側信頼区間（UCB）の原則に従い、予測された改善度と不確実性のバランスに基づいて次の評価点を選択する。
• MT-BKBはNystroem近似を適用して計算コストを低減し、より大きなデータセットへのスケーラビリティを実現する。
• 理論的分析により、ベクトル値関数推定に対する新しい集中不等式が導出され、タスク類似度およびカーネル構造に依存するレグレットバウンドが得られる。

実験結果

リサーチクエスチョン

• RQ1 共有カーネル構造を持つマルチタスクベイズ最適化は、マルチオブジェクティブ設定において独立最適化よりも優れたレグレット性能を達成できるか？
• RQ2 タスク間の類似度は、マルチオブジェクティブBOアルゴリズムの有限時間のレグレットにどのように影響するか？
• RQ3 ランダムスカラライゼーションとマルチタスクカーネルを効果的に組み合わせることで、パレートフロント探索の柔軟性を維持できるか？
• RQ4 Nystroem近似の使用が、マルチタスクBOのレグレットと計算効率に与える影響は何か？
• RQ5 提案手法は、既存手法と比較して、タスク類似度を明示的に反映する tighter（きつい）レグレットバウンドを達成できるか？

主な発見

• 提案されたMT-KBおよびMT-BKBアルゴリズムは、マルチタスクカーネルを介してタスク間類似度構造に明示的に依存する有限時間のレグレットバウンドを達成した。
• レグレットバウンドは、ベクトル値関数推定に対する新しい集中不等式を用いて導出され、これが初めての最悪ケース（頻度主義的）保証である。
• 実験的結果から、MT-KBおよびMT-BKBは、合成データおよび実世界のセンサデータにおいて、独立タスクベースライン（IT-KB、IT-BKB）およびMOBOを上回る性能を示した。特に、時間平均累積レグレットおよびベイズレグレットの両面で優位性が確認された。
• MT-BKBにおけるNystroem近似の使用により、理論的保証を維持したままスケーラブルな推論が可能となり、大規模問題に適した。
• インテル・バーチャル・ラボの実世界センサデータにおいて、ハイパーパramータチューニングなしでも、ベースライン手法と比較して収束性とロバストネスが向上した。
• カーネルがタスクおよび入力ドメインで分解可能な場合、アルゴリズムは実装が単純で、RKHSや摂動付き正弦関数を含む多様な問題タイプにおいても強力な性能を維持した。