[論文レビュー] Preference Exploration for Efficient Bayesian Optimization with Multiple Outcomes

Zhiyuan Lin, Raul Astudillo+2 more|arXiv (Cornell University)|Mar 21, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 7

ひとこと要約

本稿では、未知の効用関数を有する多目的実験を効率的に最適化する人間を含むループフレームワークである、好みの探索を組み込んだベイズ最適化（BOPE）を提案する。ペairワイズ比較によるリアルタイムの好み学習とベイズ最適化をインタリーブすることで、DMとの対話回数と実験回数を削減しつつ高い効用を達成する。期待効用に基づく獲得関数（EUBO）を用いることで、ベースライン手法に比べてより高い効用を達成し、より少ないDMとの対話と実験回数で最適化を実現し、高いサンプル効率と、対話の制限に対するロバスト性を示した。

ABSTRACT

We consider Bayesian optimization of expensive-to-evaluate experiments that generate vector-valued outcomes over which a decision-maker (DM) has preferences. These preferences are encoded by a utility function that is not known in closed form but can be estimated by asking the DM to express preferences over pairs of outcome vectors. To address this problem, we develop Bayesian optimization with preference exploration, a novel framework that alternates between interactive real-time preference learning with the DM via pairwise comparisons between outcomes, and Bayesian optimization with a learned compositional model of DM utility and outcomes. Within this framework, we propose preference exploration strategies specifically designed for this task, and demonstrate their performance via extensive simulation studies.

研究の動機と目的

• 意思決定者（DM）が結果の間で未知で複雑な好みを持つ、高コストな多目的実験を最適化する課題に対処すること。
• 結果の予測モデルを用いて、DMとの対話を適応的に行い、時間のかかる実験回数とDMとの対話回数を削減することで、実験を効率化すること。
• 多目的BOや好みベースBOといった従来手法を改善し、パレート最適解の関連領域に焦点を当て、好みを構成的にモデル化すること。
• 単調でない好みを扱えるフレームワークを構築し、閉形式の効用関数を必要とせずに、効率的かつインタラクティブに最適化を実行すること。
• 好みの探索と実験の段階をインタリーブすることで、DMの関与を最小限に抑えつつ最適化性能が著しく向上することを示すこと。

提案手法

• フレームワークは、好みの探索（PE）と実験の2段階を交互に繰り返す。PE段階では、システムがDMに結果ベクトルのペアワイズ比較を要求する。
• 好みのクエリは、期待効用に基づく獲得関数（EUBO）を用いて生成され、DMの効用関数に関する期待情報量の増加を最大化するようにペアを選択する。
• EUBO-ζとEUBO-~fは、それぞれ結果空間と結果の予測モデル上で最適化を行う変種であり、クエリの関連性と効率性を向上させる。
• DMの未知の効用関数は、結果上にガウス過程でモデル化され、各DMの反応後にベイズ推論を用いて信念を更新する。
• 真の結果関数 f_true の代理モデルから生成された仮想結果を用いることで、新しい実験を待たずにクエリ生成が可能になる。
• 構成的モデルは、f_true の予測と学習済みの効用関数 g_true を組み合わせ、高効用の設計へと最適化を導く。

実験結果

リサーチクエスチョン

• RQ1 未知のDM好みを持つ多目的ベイズ最適化において、好みの探索と実験の段階をインタリーブすることで、最適化の効率が向上するか？
• RQ2 EUBOに基づく好みのクエリは、PBO-TS や qNParEGO といった既存手法に比べて、どの程度高い効用獲得と高いサンプル効率を達成するか？
• RQ3 初期実験バッチの後、一度だけ好みの探索を実施する場合、最適化性能にどの程度の影響が生じるか？
• RQ4 好みのクエリにおける代替モデルに基づく結果生成は、必要な実験回数とDMとの対話回数を削減できるか？
• RQ5 本フレームワークは、結果が高すぎず低すぎずあるべきという非単調な好みを効果的に処理できるか？

主な発見

• EUBO-ζ および EUBO-~f は、すべてのテスト関数において一貫して最高の効用を達成し、真の効用関数に次いで2番目に高い性能を示した。
• 提案されたEUBOベースの戦略は、PBO-TS や他のベースライン手法に比べ、より高い効用獲得を達成した一方で、DMの作業時間と実験回数を著しく削減した。
• 初期実験バッチの後、一度だけPE段階を実施しても、複数回のPE段階を実施した場合と統計的に差がない最大効用に到達したため、対話の制限にもかかわらず高いロバスト性を示した。
• PEを一度だけ実施しても性能に顕著な低下がなく、高効用最適化には、一度の適切に選択されたPEフェーズで十分であることが示唆された。
• 真の結果空間 Y₀ における直接探索に比べ、予測結果空間 ~f(X) での探索が優れていたことから、クエリ生成において予測モデルを活用することの利点が明らかになった。
• 非単調な好み（例：特定のターゲット値に近い結果が望ましい）を含む問題に対しても、本フレームワークは優れた性能を示した。