[論文レビュー] Bayesian Optimization of Risk Measures

Sait Cakmak, Raul Astudillo+2 more|arXiv (Cornell University)|Jul 10, 2020

Gaussian Processes and Bayesian Inference参考文献 18被引用数 5

ひとこと要約

本稿は、ブラックボックス関数 $F(x,W)$ をガウス過程として直接モデル化することにより、リスク指標（VaR および CVaR）を最小化するための新しいベイジアン最適化フレームワークを提案する。これにより、クエリ時に意思決定変数 $x$ と環境変数 $w$ を同時に選択可能となり、個々の $F(x,w)$ 評価から得られる詳細な情報を活用することで、最先端の手法よりも著しく高いサンプリング効率を達成する。提案された獲得関数 $ ho\textnormal{KG}$ および $ ho\textnormal{KG}^{apx}$ は、数値実験においてベンチマークを上回る性能を示した。

ABSTRACT

We consider Bayesian optimization of objective functions of the form $ρ[ F(x, W) ]$, where $F$ is a black-box expensive-to-evaluate function and $ρ$ denotes either the VaR or CVaR risk measure, computed with respect to the randomness induced by the environmental random variable $W$. Such problems arise in decision making under uncertainty, such as in portfolio optimization and robust systems design. We propose a family of novel Bayesian optimization algorithms that exploit the structure of the objective function to substantially improve sampling efficiency. Instead of modeling the objective function directly as is typical in Bayesian optimization, these algorithms model $F$ as a Gaussian process, and use the implied posterior on the objective function to decide which points to evaluate. We demonstrate the effectiveness of our approach in a variety of numerical experiments.

研究の動機と目的

• 目的関数 $F(x,W)$ が高価で微分不能な場合に、VaR や CVaR などのリスク指標を最適化する課題に対処すること。
• 標準的なベイジアン最適化が $\rho[F(x,W)]$ をブラックボックスとして扱うため、1回のクエリあたり多くの高価な評価を必要とすることによる非効率性を克服すること。
• 評価時に $x$ と $w$ を同時に選択する手法を開発し、シミュレーション・オラクルを活用してクエリ効率を向上させること。
• 勾配ベースの最適化が可能で、漸近的に不偏であることを保証する、体系的な獲得関数 $\rho\textnormal{KG}$ および $\rho\textnormal{KG}^{apx}$ を設計すること。
• 二段階時間スケールのアプローチを用いて、ネストされた最適化を含む獲得関数の効率的最適化を可能にすること。

提案手法

• ブラックボックス関数 $F(x,W)$ をガウス過程（GP）としてモデル化し、$x$ と $w$ の両方の不確実性を捉える。$\rho[F(x,W)]$ を直接モデル化するのではなく、このアプローチを採用する。
• GPの事後分布を用いて、$W$ の確率的変動に関して $F(x,W)$ のVaRおよびCVaRを推定し、リスク指標の不確実性を定量化する。
• $\rho\textnormal{KG}$ を提案する。これは、GP事後予測分布から導出された1ステップベイズ最適の獲得関数であり、リスク指標における期待改善を最大化することを目的とする。
• $\rho\textnormal{KG}^{apx}$ を導入する。これは $\rho\textnormal{KG}$ の計算コストを低減しつつも、高い性能を維持する近似手法である。
• $\rho\textnormal{KG}$ および $\rho\textnormal{KG}^{apx}$ のための勾配推定器を採用し、漸近的に不偏かつ一貫性を持つように設計することで、勾配ベースの最適化が効率的に行えるようにする。
• 内側の最適化問題を含む獲得関数の最適化を安定かつ効率的に行うために、二段階時間スケールの最適化スキームを適用する。

実験結果

リサーチクエスチョン

• RQ1 関数評価時に $x$ と $w$ を同時に選択することで、リスク指標のベイジアン最適化におけるサンプリング効率が著しく向上するか？
• RQ2 関数 $F(x,W)$ がブラックボックスで高価な評価を要する場合、VaR や CVaR などのリスク指標を効率的に推定・最適化する方法は何か？
• RQ3 1ステップベイズ最適性を保ちつつ、計算的に実行可能である獲得関数設計はどのようなものか？
• RQ4 $w$ に関するネストされた期待値を含む獲得関数に対して、勾配ベースの最適化をどのように適用できるか？
• RQ5 $F(x,w)$ を直接 GP としてモデル化するアプローチが、$\rho[F(x,W)]$ を直接モデル化する手法に比べ、収束速度および解の品質の面でどれほど優れているか？

主な発見

• 提案された $\rho\textnormal{KG}^{apx}$ 獲得関数は、数値実験において最先端のベイジアン最適化手法よりも著しく高いサンプリング効率を達成した。
• 高価な $F$ 評価を伴う状況では、$\rho[F(x,W)]$ をブラックボックスとして扱う標準的 BO よりも、本手法が顕著に優れた性能を示した。
• $\rho$-ランダムベースライン（$x$ と $w$ をランダムに選択するが、完全な GP モデルを用いる）は、標準的 BO よりも優れており、提案手法の統計的モデルの価値を示している。
• 二段階時間スケール最適化アプローチにより、内側の最適化問題を含む獲得関数の最適化が安定的かつ効率的に行えるようになり、計算スケーラビリティが向上した。
• Branin や $f_6$ などのベンチマーク関数における数値実験では、関数評価に数分かかる場合でも、提案アルゴリズムが顕著な時間短縮を実現した。
• 本フレームワークにより、ファイナンス、医療、災害管理などのハイリスク分野におけるリスク回避意思決定が、堅牢でシミュレーションベースの推奨を伴って可能になる。