[논문 리뷰] Risk-Sensitive Variational Bayes: Formulations and Bounds

Prateek Jaiswal, Harsha Honnappa외 1명|arXiv (Cornell University)|2019. 03. 12.

Statistical Methods and Inference참고 문헌 41인용 수 4

한 줄 요약

이 논문은 고차원적이고 복잡한 베이지안 의사결정 문제에서 사후 분포의 위험 감수성 목표를 근사하기 위해 위험 측도의 이중 표현을 사용하는 위험 감수성 변분 베이즈 프레임워크를 제안한다. MCMC를 최적화 기반 추론으로 대체함으로써 유한 표본에서의 최적성 갭에 대한 경계를 확립하며, 이론적 보장과 새로운 신문 판매자 문제에 대한 시뮬레이션을 통해 향상된 의사결정 품질을 입증한다.

ABSTRACT

We study data-driven decision-making problems in a parametrized Bayesian framework. We adopt a risk-sensitive approach to modeling the interplay between statistical estimation of parameters and optimization, by computing a risk measure over a loss/disutility function with respect to the posterior distribution over the parameters. While this forms the standard Bayesian decision-theoretic approach, we focus on problems where calculating the posterior distribution is intractable, a typical situation in modern applications with %high-dimensional parameter space large datasets, heterogeneity due to observed covariates and latent group structure. The key methodological innovation we introduce in this paper is to leverage a dual representation of the risk measure to introduce an optimization-based framework for approximately computing the posterior risk-sensitive objective, as opposed to using standard sampling based methods such as Markov Chain Monte Carlo. Our analytical contributions include rigorously proving finite sample bounds on the `optimality gap' of optimizers obtained using the computational methods in this paper, from the `true' optimizers of a given decision-making problem. We illustrate our results by comparing the theoretical bounds with simulations of a newsvendor problem on two methods extracted from our computational framework.

연구 동기 및 목표

• 공변수와 잠재 구조를 포함한 고차원적이고 대규모의 베이지안 의사결정 문제에서 사후 계산이 비가능한 문제에 대응한다.
• 사후 추정 외에도 손실 함수에 대한 위험 측도를 통해 불확실성을 모델링하는 위험 감수성 의사결정 프레임워크를 개발한다.
• 기존의 샘플 기반 추론(예: MCMC)을 최적화 기반 접근법으로 대체하여 사후 위험 감수성 목표를 근사한다.
• 실제 최적 의사결정에 비해 계산된 해의 품질에 대한 엄밀한 유한 표본 이론적 보장을 제공한다.

제안 방법

• 위험 측도의 이중 표현을 사용하여 위험 감수성 목표를 해석 가능한 최적화 문제로 재구성한다.
• 변분 분포 가족에 대한 최소화 문제로 사후 위험 감수성 목표를 공식화함으로써 효율적인 계산을 가능하게 한다.
• 위험 제약 조건의 라그랑주 해석을 통해 추정 정확도와 위험 감수성의 균형을 이루는 대체 목표를 유도한다.
• 최적화 기법(예: 확률적 경량 하강법)을 적용하여 변분 목표를 최소화함으로써 MCMC 샘플링을 피한다.
• 실제 사후 분포 하에서 계산된 해와 진정한 최적 의사결정 사이의 최적성 갭에 대한 유한 표본 경계를 확립한다.
• 제안된 계산 프레임워크에서 파생된 두 가지 방법을 사용하여 신문 판매자 문제에 대한 시뮬레이션을 통해 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 사후 계산이 비가능할 경우, 고차원적이고 파arameterized된 베이지안 프레임워크 내에서 위험 감수성 의사결정은 어떻게 수학적으로 정의할 수 있는가?
• RQ2 위험 측도의 이중 표현은 MCMC에 비해 더 효율적이고 확장 가능한 위험 감수성 목표 계산 방법을 제공할 수 있는가?
• RQ3 제안된 최적화 기반 추론 방법을 통해 얻어진 해의 품질에 대해 어떤 유한 표본 이론적 보장을 제공할 수 있는가?
• RQ4 유한 표본 설정에서 제안된 방법의 성능 경계는 기존의 샘플 기반 접근법과 비교해 볼 때 어떻게 되는가?

주요 결과

• 제안된 최적화 기반 프레임워크는 계산된 해와 진정한 최적 의사결정 사이의 최적성 갭에 대해 유한 표본 경계를 확보하여 해의 품질에 대한 이론적 신뢰를 제공한다.
• 계산 효율성 측면에서 표준 샘플 기반 접근법보다 우수하면서도 강력한 이론적 보장을 유지한다.
• 신문 판매자 문제에 대한 시뮬레이션 결과, 유도된 방법이 기준 방법보다 더 날카운 최적성 갭 경계를 제공함을 보여준다.
• 위험 측도의 이중 표현은 위험 감수성 목표를 볼록 재구성할 수 있게 하여 스케일러블 최적화 기법의 적용을 가능하게 한다.
• 이 프레임워크는 공변수와 잠재 그룹화를 포함한 고차원적 매개변수 공간과 복잡한 데이터 구조에 적용 가능하다.
• 이론적 경계는 시뮬레이션을 통해 실증적으로 검증되었으며, 불확실성 하에서의 실질적 의사결정에 있어 그 유용성을 입증한다.