[論文レビュー] Multi-Attribute Bayesian Optimization With Interactive Preference Learning

Raul Astudillo, Peter I. Frazier|arXiv (Cornell University)|Nov 13, 2019

Data Stream Mining Techniques被引用数 10

ひとこと要約

本稿では、意思決定者の効用関数の不確実性を扱うために、インタラクティブな好み学習を統合した多属性ベイジアン最適化フレームワークを提案する。期待改善 under utility uncertainty (EI-UU) および効用不確実性下でのトンプソンサンプリング (TS-UU) という新しい獲得関数を用いることで、妥当な効用関数の範囲においても頑健な設計を選択し、最終的に選択に適した高品質な選択肢のリスト（メニュー）を提供する。このアプローチは、点推定に基づく手法に比べて好みの頑健性とクエリ効率において優れている。

ABSTRACT

We consider black-box global optimization of time-consuming-to-evaluate functions on behalf of a decision-maker (DM) whose preferences must be learned. Each feasible design is associated with a time-consuming-to-evaluate vector of attributes and each vector of attributes is assigned a utility by the DM's utility function, which may be learned approximately using preferences expressed over pairs of attribute vectors. Past work has used a point estimate of this utility function as if it were error-free within single-objective optimization. However, utility estimation errors may yield a poor suggested design. Furthermore, this approach produces a single suggested "best" design, whereas DMs often prefer to choose from a menu. We propose a novel multi-attribute Bayesian optimization with preference learning approach. Our approach acknowledges the uncertainty in preference estimation and implicitly chooses designs to evaluate that are good not just for a single estimated utility function but a range of likely ones. The outcome of our approach is a menu of designs and evaluated attributes from which the DM makes a final selection. We demonstrate the value and flexibility of our approach in a variety of experiments.

研究の動機と目的

• 意思決定者の好みに関する完全な知識を仮定する単一目的ベイジアン最適化の限界を解消すること。
• 点推定に基づく好み学習の脆さ（推定誤差による劣悪な設計の生成）を克服すること。
• ペairwise 判定を通じて好みを能動的に学習しつつ、効用推定の不確実性を維持する手法を開発すること。
• 単一の「最良」設計ではなく、意思決定者の不確実な好みに適合した多様で高品質な設計のメニューを生成すること。
• 属性空間における最も好まれる領域に焦点を当てることで、高価な関数評価回数を削減すること。

提案手法

• 意思決定者の効用関数を、ペアワイズ好みフィードバックにより更新される効用パラメータ上のベイジアン後確率分布としてモデル化する。
• ブラックボックス属性関数 f(x) ∈ ℝᵏ を、多出力ガウス過程でモデル化し、属性予測の不確実性を捉える。
• EI-UU および TS-UU の2つの新しい獲得関数を導入し、設計選択時に効用関数の不確実性を明示的に考慮する。
• EI-UU の最大化に向けた不偏勾配推定をシミュレーションベースで行い、確率的最適化を可能にする。
• 最適化中における好みの段階的更新をサポートし、新たな判断が得られるたびに効用信念を精緻化できる。
• 意思決定者が選択可能な評価済み設計の最終的なメニューを出力し、不確実性を考慮した探索と活用を反映する。

実験結果

リサーチクエスチョン

• RQ1 意思決定者の効用関数が不確実であり、インタラクティブに学習されなければならない状況において、ベイジアン最適化を多属性目的に拡張する方法は何か？
• RQ2 効用不確実性を考慮する獲得関数は、標準的な点推定ベースの獲得関数に比べ、頑健性および最終的な効用の面で優れているか？
• RQ3 多目的または単一目的のアプローチと比較して、好み学習は高価な関数評価回数をどの程度削減できるか？
• RQ4 真の効用関数が未知で、ペアワイズ比較による部分的な観測のみが可能な状況において、探索と活用のバランスはどのようにとられるか？
• RQ5 本手法は、単一設計の推奨よりも、意思決定者の真の好みをよりよく反映する多様で高品質な設計のメニューを生成できるか？

主な発見

• 提案された EI-UU および TS-UU 獲得関数は、標準的な点推定アプローチに比べ、効用推定誤差に対する頑健性が顕著に向上している。
• 学習済み好みに基づいて、最も好まれる属性空間の領域に最適化を集中させることで、関数評価回数を削減している。
• 合成実験では、効用がほぼ最適化されたメニューから設計を選択することで、好みの不確実性下での単一設計最適化を上回った。
• 理論的分析により、EI-UU は凸かつ非減少効用関数の下で、古典的な期待改善の望ましい探索・活用のバランスを継承していることが示された。
• EI-UU に対するシミュレーションベースの勾配推定器により、関数の複雑さにもかかわらず効果的な最適化が可能となり、計算上の実行可能性が確保された。
• 本手法は、古典的ベイジアン最適化をインタラクティブな好み学習を伴う多属性設定に一般化し、パレートフロンティア推定の実用的代替手段を提供した。