[論文レビュー] End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes

Alexandre Maraval, Matthieu Zimmer+2 more|arXiv (Cornell University)|May 25, 2023

Machine Learning and Data Classification被引用数 4

ひとこと要約

本論文は、変換器ベースのニューラルプロセスを用いて、同時に surrogate モデルと獲得関数を学習する、最初のエンド・ツー・エンド微分可能なメタベイズ最適化フレームワークを提案する。強化学習と補助的な確率的インダクティブバイアスを組み合わせることで、ハイパラメータチューニング、抗体設計、電子設計自動化のタスクにおいて、最先端のレジット性能を達成する。

ABSTRACT

Meta-Bayesian optimisation (meta-BO) aims to improve the sample efficiency of Bayesian optimisation by leveraging data from related tasks. While previous methods successfully meta-learn either a surrogate model or an acquisition function independently, joint training of both components remains an open challenge. This paper proposes the first end-to-end differentiable meta-BO framework that generalises neural processes to learn acquisition functions via transformer architectures. We enable this end-to-end framework with reinforcement learning (RL) to tackle the lack of labelled acquisition data. Early on, we notice that training transformer-based neural processes from scratch with RL is challenging due to insufficient supervision, especially when rewards are sparse. We formalise this claim with a combinatorial analysis showing that the widely used notion of regret as a reward signal exhibits a logarithmic sparsity pattern in trajectory lengths. To tackle this problem, we augment the RL objective with an auxiliary task that guides part of the architecture to learn a valid probabilistic model as an inductive bias. We demonstrate that our method achieves state-of-the-art regret results against various baselines in experiments on standard hyperparameter optimisation tasks and also outperforms others in the real-world problems of mixed-integer programming tuning, antibody design, and logic synthesis for electronic design automation.

研究の動機と目的

• 既存のメタベイズ最適化手法が、 surrogate モデリングと獲得関数学習を独立したステップとして扱うという制限を解決すること。
• 異なる可能アーキテクチャを用いて、メタ-BO において両方のコンポーネントを統合的・エンド・ツー・エンドで学習可能にする。
• 獲得関数をゼロから訓練する際の強化学習におけるレアな報酬の課題を克服すること。
• 関連するソースタスクからの知識を活用することで、新しい最適化タスクにおけるサンプル効率を向上させること。
• ガウス過程に依存せずに、観測データから直接獲得関数値を予測する統一的で微分可能なフレームワークを開発すること。

提案手法

• 獲得関数を直接モデル化できる変換器ベースのニューラルプロセスアーキテクチャを提案し、エンド・ツー・エンド微分可能なメタ最適化を可能にする。
• 累積レジットを報酬信号として用いる強化学習を採用し、獲得関数ポリシーを訓練する。
• サブネットワークが有効な確率的モデルを学習するのを支援する補助損失を導入し、訓練の安定化に寄与するインダクティブバイアスを提供する。
• レジットに基づく報酬の対数的スパarsity を形式的に定式化し、強化学習ベースのメタ-BO における補助監視の必要性を裏付ける。
• ポリシー勾配法を用いて、獲得関数が次の評価点の行動確率を出力する形で、モデル全体をエンド・ツー・エンドで訓練する。
• ニューラルプロセスの構造的インダクティブバイアスを活用し、タスク間での一般化を実現するとともに、統合最適化のための微分可能性を維持する。

実験結果

リサーチクエスチョン

• RQ1 統一的でエンド・ツー・エンド微分可能なフレームワークは、メタベイズ最適化における surrogate モデリングと獲得関数学習を同時に最適化できるか？
• RQ2 レジットに基づく報酬のスパarsity は、強化学習における変換器ベースの獲得関数の訓練安定性にどのように影響するか？
• RQ3 補助的な確率的インダクティブバイアスは、報酬がスパースな状況下でのエンド・ツー・エンドメタ-BO における訓練安定性とパフォーマンスを向上させることができるか？
• RQ4 surrogate と獲得関数コンポーネントの統合的学習は、分離的アプローチに比べてより高いサンプル効率を達成できるか？
• RQ5 提案手法は、ハイパラメータチューニング、抗体設計、論理合成といった多様な実世界の最適化タスクにおいて、効果的に一般化できるか？

主な発見

• 提案されたエンド・ツー・エンドメタ-BOフレームワークは、標準的なハイパラメータ最適化ベンチマークで最先端のレジット性能を達成した。
• 混合整数プログラミングチューニングや電子設計自動化を含む実世界の応用において、既存のベースラインを上回る性能を示した。
• 補助的な確率的インダクティブバイアスの導入により、報酬がスパースな状況下でも訓練の安定性が著しく向上し、サンプル効率が向上した。
• 実証的結果から、surrogate と獲得関数コンポーネントの統合的学習が、分離的アプローチに比べて累積レジットを低減することが明らかになった。
• 本フレームワークは、抗体設計における組み合わせ的シーケンス最適化やチップ設計を含む多様なタスクにおいて、効果的に一般化した。
• 組み合わせ的分析により、レジットに基づく報酬が対数的スパarsity を示すことが確認され、強化学習ベースのメタ-BO における補助監視の必要性が裏付けられた。