[論文レビュー] Risk-Sensitive Variational Bayes: Formulations and Bounds

Prateek Jaiswal, Harsha Honnappa+1 more|arXiv (Cornell University)|Mar 12, 2019

Statistical Methods and Inference参考文献 41被引用数 4

ひとこと要約

本稿では、リスク感受性のある変分ベイズフレームワークを提案し、リスク測度の二重表現を用いて、高次元で複雑なベイジアン意思決定問題における事後分布のリスク感受性目的を近似する。MCMCに代えて最適化に基づく推論を採用することで、最適性ギャップに対する有限標本の境界を確立し、理論的保証と新しい新聞販売問題におけるシミュレーションを通じて、意思決定の質の向上を示している。

ABSTRACT

We study data-driven decision-making problems in a parametrized Bayesian framework. We adopt a risk-sensitive approach to modeling the interplay between statistical estimation of parameters and optimization, by computing a risk measure over a loss/disutility function with respect to the posterior distribution over the parameters. While this forms the standard Bayesian decision-theoretic approach, we focus on problems where calculating the posterior distribution is intractable, a typical situation in modern applications with %high-dimensional parameter space large datasets, heterogeneity due to observed covariates and latent group structure. The key methodological innovation we introduce in this paper is to leverage a dual representation of the risk measure to introduce an optimization-based framework for approximately computing the posterior risk-sensitive objective, as opposed to using standard sampling based methods such as Markov Chain Monte Carlo. Our analytical contributions include rigorously proving finite sample bounds on the `optimality gap' of optimizers obtained using the computational methods in this paper, from the `true' optimizers of a given decision-making problem. We illustrate our results by comparing the theoretical bounds with simulations of a newsvendor problem on two methods extracted from our computational framework.

研究の動機と目的

• 共変数や潜在構造を有する高次元・大規模なベイジアン意思決定問題における事後分布計算の非可解性の課題に対処すること。
• 事後推定に加え、損失関数上のリスク測度を用いて不確実性をモデル化するリスク感受性の意思決定フレームワークの構築。
• 従来のサンプリングベースの推論（例：MCMC）を、事後分布のリスク感受性目的を近似する最適化ベースのアプローチに置き換えること。
• 計算された解の質が真の最適意思決定に対して、厳密な有限標本の理論的保証を提供すること。

提案手法

• リスク測度の二重表現を用いて、リスク感受性の目的関数を取り扱いやすい最適化問題に再定式化する。
• 変分族の分布に対する最小化問題として、事後分布のリスク感受性目的を定式化し、計算を効率化する。
• リスク制約のラグランジュ緩和を用いて、推定の正確さとリスク感受性のバランスを取る代替目的関数を導出する。
• 最適化技術（例：確率的勾配法）を用いて変分目的関数を最小化し、MCMCサンプリングを回避する。
• 真の事後分布下での計算された解と真の最適意思決定との間の最適性ギャップに対する有限標本の境界を確立する。
• 計算フレームワークから導出された2つの手法を用いて、新規新聞販売問題におけるフレームワークの妥当性をシミュレーションで検証する。

実験結果

リサーチクエスチョン

• RQ1 事後分布計算が非可解である状況下で、パラメータ化されたベイジアンフレームワーク内にリスク感受性意思決定を形式化することは可能か？
• RQ2 リスク測度の二重表現が、MCMCの代替としてより効率的かつスケーラブルなリスク感受性目的の計算を可能にするか？
• RQ3 提案された最適化ベースの推論手法によって得られる解の質に対して、どのような有限標本の理論的保証を提供できるか？
• RQ4 提案手法の性能境界は、有限標本設定下で、標準的なサンプリングベースの手法と比較してどのように異なるか？

主な発見

• 提案された最適化ベースのフレームワークは、計算された解と真の最適意思決定との間の最適性ギャップに対して有限標本の境界を達成しており、解の質に対する理論的信頼性を提供している。
• 計算効率の面で、標準的なサンプリングベースの手法を上回っている一方で、強固な理論的保証を維持している。
• 新規新聞販売問題におけるシミュレーションでは、導出された手法がベースライン手法と比較して、最適性ギャップの境界をより厳密に得ている。
• リスク測度の二重表現により、リスク感受性目的関数が凸に再定式化され、スケーラブルな最適化技術に適した形になる。
• 本フレームワークは、共変数や潜在グループ構造を有する高次元パrameter空間や複雑なデータ構造にも適用可能である。
• 理論的境界は、シミュレーションを通じて実証的に検証され、不確実性下での実用的意思決定における関連性が示された。